kt cloud 기술 블로그

*본 글은 kt cloud의 보도자료를 재구성한 내용입니다.

 [ kt cloud 마케팅커뮤니케이션 팀] 

 

 

안녕하세요, kt cloud 마케팅커뮤니케이션팀 입니다!👋

오늘은 정말 신나는 소식을 들고 왔어요.
kt cloud가 AI 인프라를 한층 더 강화하기 위해 엔비디아의 최신 GPU인 H200을 도입하기로 했거든요!
AI 시장이 폭발적으로 성장하면서 고성능 GPU에 대한 수요도 계속 늘어나고 있잖아요. 이런 상황에서 kt cloud가 세계 최고 수준의 GPU를 도입한다는 건 정말 반가운 소식이 아닐 수 없죠.

특히 H200은 현존하는 GPU 중에서도 최고 성능을 자랑하는 제품이라 더욱 기대됩니다.
이번 도입으로 kt cloud의 AI 인프라가 어떻게 진화하고, 서비스가 어떻게 강화될지 함께 자세히 살펴볼까요? 🧐

---

GPUaaS가 뭔지 궁금하시죠? 🤔

요즘 AI가 정말 핫하잖아요? ChatGPT 같은 대화형 AI나 DALL-E 같은 이미지 생성 AI를 만들고 운영하려면 엄청난 GPU 인프라가 필요한데요. GPUaaS는 바로 이런 GPU 인프라를 클라우드로 제공하는 서비스예요!

쉽게 설명하면 'GPU 인프라를 빌려주는 서비스'라고 할 수 있어요. 마치 우리가 차가 필요할 때 카셰어링을 이용하는 것처럼, AI 기업들은 필요할 때 GPU 인프라를 빌려 쓸 수 있어요. 멋지지 않나요? 😎

kt cloud는 이런 GPUaaS를 크게 두 가지 방식으로 제공하고 있어요.

🎓 kt cloud AI Train

AI Train은 클라우드 환경에서 AI 모델을 학습시킬 수 있는 컨테이너 기반 GPU 인프라 서비스에요.

• 최신 NVIDIA GPU(H200(*예정), H100, A100, V100) 기반의 고성능 학습 환경 제공
• Terminal, VS Code, Jupyter Lab 등 개발자 친화적 환경
• 고정할당/동적할당 방식의 유연한 과금 체계

🔮 kt cloud AI SERV

AI SERV는 학습이 완료된 AI 모델을 실제 서비스로 배포할 때 사용하는 추론 전용 인프라 서비스예요.

• 국내 최초 GPU 슬라이싱 기술 적용 (A100 80GB GPU 8분할 가능)
• 일반 AI 추론 GPU 대비 2배 이상 빠른 처리 속도
• PyTorch, TensorFlow 등 최신 프레임워크 지원
  
  

---

H200이 온다! 근데 이게 왜 중요할까요? 🌟

자, 이제 오늘의 주인공인 H200 얘기를 해볼게요.
H200은 엔비디아가 2024년 2분기에 출시한 차세대 데이터센터용 GPU예요. AI 시대의 '최강자'로 불리는 H100의 후속 모델인데요, 전작인 H100보다 훨씬 더 강력해졌어요!

쉽게 설명하자면 이렇답니다.

이미지 제공 ❘ NVIDIA

• 더 빨라졌어요! 🏃‍♂️
  • H100 대비 최대 90% 성능 향상
  • AI 추론 작업에서 최대 1.8배 빠른 속도
  • FP8 정밀도에서 무려 3,958 TFLOPS 성능 제공
    
    
• 더 많은 정보를 한 번에 처리할 수 있어요! 🧠
  • 141GB HBM3e 메모리 탑재
  • 메모리 대역폭이 4.8TB/s로 H100보다 2.4배 향상
    
    
• 똑똑하게 전기를 써요! 💡
  • 이렇게 성능이 좋아졌는데도 전력 소비는 H100과 동일
  • 더 높은 에너지 효율성 제공
    
    

특히 ChatGPT 같은 대규모 언어 모델(LLM)이나 생성형 AI에 최적화되어 있어서, kt cloud의 GPUaaS 서비스가 한층 더 강력해질 거예요. 게다가 H100과 완벽한 호환성도 갖추고 있어서 기존 시스템에도 쉽게 적용할 수 있어요!

---

NPU도 준비하고 있다고요? 📱

kt cloud는 GPU 서비스에서 한 걸음 더 나아가 NPU(Neural Processing Unit) 영역까지 서비스를 확장하고 있어요. NPU는 AI 연산에 최적화된 특별한 반도체인데요, 쉽게 말하면 AI 전용 두뇌라고 생각하시면 됩니다!

현재 kt cloud는 리벨리온과 협력하여 추론 전용 인프라 'AI SERV NPU' 서비스를 제공하고 있어요. 특히 올해 5월 출시 예정인 리벨리온의 새로운 NPU '아톰 맥스'를 도입하여 소형언어모델(sLM)에 대한 NPU 성능 검증을 진행할 예정이랍니다. 이를 통해 kt cloud는 GPU와 NPU를 아우르는 더욱 다양하고 최적화된 AI 인프라 환경을 제공할 수 있게 될 거예요! 🚀

더 나아가 kt cloud는 AI 인프라를 한층 강화하기 위해 다양한 파트너십도 추진하고 있어요. 미국의 반도체 설계 기업 암페어(Ampere)와 AI 반도체 사업 협력을 검토하는 등 업계 주요 사업자들과의 협력도 확대해 나가고 있답니다. 💪

---

앞으로가 더 기대되네요! ✨

이번 H200 도입은 정말 큰 의미가 있어요. kt cloud가 이미 검증받은 AI Train 서비스에 더 강력한 성능의 GPU를 도입하면서, 글로벌 수준의 AI 클라우드 기업으로 한 단계 더 도약하게 됐거든요.

앞으로의 계획도 정말 기대됩니다!

kt cloud는 AI Train 서비스에 최신 H200 GPU를 적용해서 더욱 강화된 AI 인프라를 제공할 예정이에요.
또한 리벨리온의 '아톰 맥스'를 적용한 AI SERV NPU로 소형언어모델 성능을 검증하고, 하반기에는 공공기관을 대상으로 추론 전용 상품의 CSAP 인증 절차를 진행하며, AI Ops 등 AI 서비스 포트폴리오도 더욱 강화할 계획이에요.

특히 kt cloud는 지금까지 AI Train과 AI SERV를 통해 AI 기업들의 다양한 needs에 맞춰 탄력적인 GPU 자원을 제공해왔어요. 앞으로도 이런 고객 중심의 서비스로 우리나라 AI 발전에 큰 힘이 되어줄 것 같아요. 마치 AI 기업들을 위한 든든한 지원군이 생긴 것 같지 않나요? 💪

여러분도 kt cloud의 이런 변화와 혁신이 기대되시나요? 저희는 앞으로도 계속해서 새로운 소식들을 여러분께 전해드릴 테니 많은 관심 부탁드려요! 😊

그럼 다음 소식에서 다시 만나요! 👋