[ kt cloud AI플랫폼팀 최지우 님 ] kt cloud의 AI 서비스가 2025년 상반기에 더욱 강력한 기능을 추가하며 한 단계 발전합니다.AI 모델 서빙과 학습 과정에서의 효율성과 안정성을 높이기 위한 다양한 업데이트가 포함되었는데요. 이번 업데이트를 통해 AI 개발과 운영이 더욱 간편해질 것입니다. 주요 변경 사항을 살펴보겠습니다.1. AI SERV 모델 서비스 컨테이너 오토스케일링 지원AI SERV는 AI 모델을 배포하고 운영하는 과정에서 중요한 역할을 합니다. 이번 상반기 업데이트에서는 AI 모델 서빙의 확장성과 안정성을 높이기 위해 여러 기능이 추가되었으며, 이를 통해 사용자는 더욱 효율적인 AI 서비스를 구축하고 운영할 수 있습니다. 첫 번째로, 오토스케일링 기능을 소개합니다. 기존에..

*본 글은 kt cloud의 보도자료를 재구성한 내용입니다. [ kt cloud 마케팅커뮤니케이션 팀]   안녕하세요, kt cloud 마케팅커뮤니케이션팀 입니다!👋오늘은 정말 신나는 소식을 들고 왔어요.kt cloud가 AI 인프라를 한층 더 강화하기 위해 엔비디아의 최신 GPU인 H200을 도입하기로 했거든요!AI 시장이 폭발적으로 성장하면서 고성능 GPU에 대한 수요도 계속 늘어나고 있잖아요. 이런 상황에서 kt cloud가 세계 최고 수준의 GPU를 도입한다는 건 정말 반가운 소식이 아닐 수 없죠.특히 H200은 현존하는 GPU 중에서도 최고 성능을 자랑하는 제품이라 더욱 기대됩니다.이번 도입으로 kt cloud의 AI 인프라가 어떻게 진화하고, 서비스가 어떻게 강화될지 함께 자세히 살펴볼까요?..

[ kt cloud AI플랫폼팀 최지우  님 ]  개요AI가 고도화되며 대규모 언어 모델(LLM)의 응답 품질과 정확도는 중요한 이슈로 떠오르고 있습니다. 그러나 LLM은 훈련 데이터에 포함된 정보만을 기반으로 작동하기 때문에, 최신 데이터나 특정 도메인에 특화된 정보 제공에는 한계가 있습니다. 이를 해결하기 위한 기술로 RAG(Retrieval-Augmented Generation)와 Vector DB가 주목받고 있습니다. 이 글에서는 RAG의 원리와 Vector DB가 어떻게 AI 모델의 응답 정밀도를 높이는지, 그리고 이를 활용해 실제 애플리케이션을 개념적으로 구성하는 방법을 다룹니다.1. RAG와 Vector Database란 무엇인가?RAG를 설명하기에 앞서 Vector DB에 대해 이해하는 것..

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ AI·클라우드 분야 공동 사업 기획, 활용 기업 발굴 등 협력… 중소기업, 연구기관에 기술 도입 적극 지원▶ kt cloud, AI 인프라 수요 대응 및 맞춤형 서비스 제공 위해 AI서비스 라인업 지속 확대 예정▶ “파트너사와 협력 이어가며 고객들이 AI 서비스 개발에 몰두할 수 있는 인프라 환경 구현할 것”kt cloud(www.ktcloud.com, 대표이사 최지웅)와 한국정보통신진흥협회(회장 유영상, 이하 ‘KAIT’)는 7일 kt cloud 본사에서 AI∙클라우드 분야 공동사업을 위한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약을 통해 두 기관은 AI·클라우드 분야 ▲공동 사업 기획∙운영, ▲활용 및 확산 프로그램 개발·운영, ▲교육 프로그램 개발·운영 ▲활용 기업 발굴 및 인프라 서비스..