[웨비나 후기] kt cloud AI 사업 및 GPUaaS 소개 웨비나

 

 

안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다. 

최근 AI 기술의 급격한 발전과 함께, 기업들은 AI를 도입하고 활용하는 과정에서 여러 가지 고민에 직면하게 됩니다. 인프라 구축의 복잡성, 초기 비용 부담, 안정적인 운영 환경 확보 등 다양한 과제가 뒤따르기 때문인데요. 이러한 고민을 해결하기 위해 kt cloud는 강력한 AI 인프라와 클라우드 솔루션을 기반으로 기업이 보다 쉽게 AI를 도입하고 활용할 수 있도록 돕고 있습니다.

지난 3월 20일, kt cloud는 기업들이 보다 쉽게 AI 인프라와 솔루션을 활용할 수 있도록 안내해 드리기 위해 ‘AI 사업 전략 및 방향성과 GPUaaS’를 주제로 웨비나를 개최했습니다.

이번 웨비나에서는 kt cloud의 주요 AI 사업 추진 사례와 전략을 중심으로, 기업들이 AI를 효과적으로 활용하기 위해 고려해야 할 사항을 분석했습니다. 특히, AI 도입 과정에서 흔히 마주하는 어려움을 해결할 수 있는 kt cloud의 AI Cloud 상품과 GPUaaS(GPU as a Service)서비스에 대한 자세한 소개가 이어졌는데요. 많은 분들이 적극적으로 참여해 주시고 질문을 남겨주신 덕분에, kt cloud의 2025년 첫 번째 웨비나를 성공적으로 마칠 수 있었습니다.

아쉽게도 웨비나에 참석하지 못하신 분들을 위해, 이번 웨비나에서 공유된 중요한 정보들과 많은 관심을 받았던 Q&A 내용을 정리해 보았습니다.

---

AI 도입의 진입 장벽과 kt cloud 해결책

 

AI 도입의 진입 장벽은 주로 비용, 운영, 플랫폼 측면에서 발생합니다. 첫째, 1천억 원 이상의 초거대 구축 비용으로 GPU 인프라 투자가 큰 부담이 될 수 있습니다. 둘째, 운영 측면에서는 GPU 자원 활용의 비효율성으로 AI 모델 대형화에 한계가 발생할 수 있습니다. 셋째, 플랫폼 측면에서는 AI 모델 개발 후 지속적인 업데이트와 오픈소스 적용 등 유지 관리가 부담이 될 수 있습니다. 

이런 진입장벽을 해결하기 위해 kt cloud는 엔비디아 H200을 비롯한 최신 GPU 인프라에 지속적으로 투자하고 있습니다. 사용자는 실제 사용한 GPU 시간만큼 비용을 지불하는 유연한 과금 모델을 통해 초기 투자 부담을 줄일 수 있습니다. 또한 다양한 AI 프레임워크 및  과학 연산 환경을 지원하며, AI 모델의 개발-배포-운영을을 자동화를 지원하는 AI Ops 서비스도 새롭게 선보일 예정입니다.

더 나아가 AI 생태계 확장을 위해 AI 반도체 스타트업 리벨리온과 협력해 NPU as a Service를 제공하고 있으며, 추론 성능이 강화된 아톰 맥스 NPU를 도입할 계획입니다. 이를 통해 기업들은 AI 워크로드를 보다 효율적으로 처리할 수 있으며, 다양한 AI 서비스 운영의 최적화를 경험할 수 있습니다.

---

kt cloud의 AI Cloud 서비스

 

kt cloud는 AI 학습부터 추론까지 AI 서비스 개발에 필요한 모든 인프라를 지원하며 GPU 뿐만 아니라 NPU와 같이 최신 AI 하드웨어도 제공하여 고객의 선택 폭을 넓히고 있습니다. 앞으로도 다양한 AI 워크로드를 지원하는 클라우드 환경을 지속적으로 발전시켜 나갈 계획입니다. 

 

 

 

AI Train
컨테이너 환경으로 제공되는 엔비디아 GPU 기반의 학습 전용 인프라 서비스인 AI Train은 최신 엔비디아 GPU인 H200과 H100을 제공하여 뛰어난 연산 성능을 자랑합니다. 

또한 노드 간 Infiniband NW로 연결되어 다중 노드 동시 사용 시 성능을 극대화할 수 있습니다. 이를 통해 복잡하고 대규모의 인공지능 모델도 빠르게 학습할 수 있습니다. 

 

AI SERV
컨테이너 환경으로 제공되는 엔비디아 GPU 기반의 추론 전용 인프라 서비스인 AI SERV는 국내 최초로 성능 열화 없는 GPU Fragmentation 기술을 적용하여 조각 단위 GPU 활용이 가능합니다.

이는 하나의 GPU를 여러 사용자가 효율적으로 공유하여 사용할 수 있도록 함으로써 자원 활용도를 극대화하고 비용을 절감할 수 있도록 합니다.

 

AI SERV NPU

컨테이너 환경으로 제공되는 NPU 기반의 추론 전용 인프라 서비스인 AI SERV NPU는 동일 성능 GPU 대비 경쟁력 있는 비용으로 고객이 비용 효율적으로 AI 추론 서비스를 운영할 수 있도록 지원합니다.

NPU는 GPU 대비 특정 AI 연산에 특화되어 있어 동일 성능 대비 전력 효율성이 높고 비용을 절감할 수 있습니다.

 

 

---

kt cloud GPUaaS에 대해 무엇이든 물어보세요!

1. AI Train을 통해 학습한 모델이나 결과물을 외부로 반출하거나 다른 시스템과 연동할 때, 보안 측면에서 어떤 보호 장치가 있나요?
→ AI Train 서비스의 경우 SCP, SFTP 프로토콜을 통해서 데이터를 외부로 반출할 수 있습니다. 공개키 암호화 및 암호화된 채널을 통해 안전하게 데이터를 옮길 수 있습니다.

2. 컨테이너 기반으로 GPU 가 제공된다면, 컨테이너에서 AI모델을 구동하는 건가요? 그렇다면 컨테이너 상에서 모델이 구동할 수 있도록 해주는 서비스도 kt cloud에서 제공하나요?
→  AI SERV와 AI Train은 컨테이너 기반 서비스이며, AI 모델은 컨테이너 환경 위에서 동작합니다. 또한 AI SERV의 경우, 손쉬운 모델 배포를 위해 Model Serving 기능을 제공하고 있습니다.

3. 급하게 모델을 훈련해야 할 경우가 생길 경우, GPU 리소스 경쟁에 대한 이슈는 어떻게 처리하면 될까요? 
→  GPU 리소스 경쟁 고정할당 정책에 따라 한번 생성된 세션은 사용자가 직접 세션을 종료하지 않는 경우 GPU자원을 회수하지 않습니다. 고정적으로 GPU를 사용하고 싶으신 고객분들은 고정할당 기능을 활용하시면, 리소스 경쟁없이 자유롭게 자원을 활용하실 수 있습니다. 

4. RAG 서비스는 어떤 도메인(영역)들이 제공되고 있나요?
→  RAG 서비스는 올해 3분기 출시할 예정이며, 문서 파싱, Vector DB, LLM API와 같은 RAG를 구성하기 위해 필요한 다양한 서비스를 준비 중입니다.

5. 중소기업과 대기업이 AI를 도입할 때 겪는 가장 큰 차이점은 무엇인가요?  
→  중소기업과 대기업의 AI 도입 차이점은 주로 자원 가용성과 서비스 규모에서 나타날 수 있습니다. 대기업은 대규모 GPU 인프라를 자체 구축하거나 대용량 클라우드 서비스를 장기 계약할 수 있는 자본력을 갖추고 있어 복잡하고 광범위한 AI 프로젝트를 안정적으로 운영할 가능성이 높습니다. 

반면 중소기업은 제한된 예산으로 필요에 따라 GPU 클라우드 서비스를 탄력적으로 활용하며, 비용 효율성을 중시하는 소규모 프로젝트에 집중하는 경향이 있을 수 있습니다. 이러한 차이로 인해 중소기업에게는 초기 투자 부담 없이 필요한 만큼만 사용할 수 있는 GPU 클라우드 서비스가 AI 도입의 중요한 대안이 될 수 있습니다.

---

AI 사업 전략 및 GPUaaS 소개 웨비나 다시보기