기술 블로그 (Tech) | kt cloud

*본 글은 kt cloud의 보도자료를 재구성한 내용입니다. [ kt cloud 마케팅커뮤니케이션 팀]   안녕하세요, kt cloud 마케팅커뮤니케이션팀 입니다!👋오늘은 정말 신나는 소식을 들고 왔어요.kt cloud가 AI 인프라를 한층 더 강화하기 위해 엔비디아의 최신 GPU인 H200을 도입하기로 했거든요!AI 시장이 폭발적으로 성장하면서 고성능 GPU에 대한 수요도 계속 늘어나고 있잖아요. 이런 상황에서 kt cloud가 세계 최고 수준의 GPU를 도입한다는 건 정말 반가운 소식이 아닐 수 없죠.특히 H200은 현존하는 GPU 중에서도 최고 성능을 자랑하는 제품이라 더욱 기대됩니다.이번 도입으로 kt cloud의 AI 인프라가 어떻게 진화하고, 서비스가 어떻게 강화될지 함께 자세히 살펴볼까요?..

[ kt cloud AI플랫폼팀 최지우 님 ]   AI 기술이 빠르게 발전하면서, 인공지능 모델의 학습 과정은 그 어느 때보다 중요한 요소로 자리 잡았습니다. 그러나 대규모 데이터를 처리하고 복잡한 모델을 학습시키는 과정은 여전히 많은 기업과 개발자들에게 큰 도전 과제입니다. 제한된 리소스, 학습 속도 저하, 그리고 효율적인 자원 관리의 필요성은 AI 개발 과정에서 늘 마주하는 고민입니다. 이러한 문제를 해결하기 위해 저희 kt cloud는 AI Train 서비스가 출시했습니다. AI Train은 최신 하드웨어와 소프트웨어 최적화를 통해 복잡한 AI 모델 학습 과정을 단순화하고 가속화합니다. 이 서비스는 단순히 빠르기만 한 것이 아니라, 누구나 쉽게 활용할 수 있는 직관적인 사용자 경험까지 제공합니다. ..

[kt cloud AI플랫폼팀 최지우 님]  GPU 1,000장 모니터링하기: NVIDIA DCGM 활용 전략 AI 플랫폼을 운영하며 수천 장의 GPU를 다루는 일은 결코 단순하지 않습니다. 서버 수가 늘어날수록 관리와 모니터링의 복잡도도 기하급수적으로 증가하고, 그만큼 예상치 못한 문제가 발생할 가능성도 커집니다. 특히 AI 플랫폼을 통해 수많은 고객에게 안정적인 서비스를 제공하려면 GPU 서버의 상태와 성능을 지속적으로 모니터링하는 것이 필수적입니다. 그러나 서버 수가 수백 대에 이르면, 각 GPU의 상태를 일일이 확인하는 것은 사실상 불가능에 가깝습니다. kt cloud에서는 AI Train, AI SERV 등 GPU 서버를 제공하는 서비스들에서 수천 장의 GPU를 제공하고 있습니다. 저희는 AI ..

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ 클라우드 기반 교육 특화 AI서비스 개발과 활성화를 위해 교육기관, 업계 전문기업과 협업▶ kt cloud, 교육용 LLM 개발과 AI학습플랫폼 운영 위한 AI· Cloud 인프라 지원▶ “AI와 클라우드 인프라 적용 경험 기반으로 AI학습 모델, 교육용 LLM, AI학습플랫폼 개발 및 활용에 앞장설 것” kt cloud(www.ktcloud.com, 대표이사 최지웅)는 대구교육대학교, 스마트앤와이즈, 리벨리온과 ‘클라우드 기반 교육 특화 AI서비스 개발 및 활성화를 위한 MOU’를 체결했다고 9일 밝혔다. 5월 8일 대구교육대학교에서 진행된 협약식에는 kt cloud 최지웅 대표이사, 대구교육대학교 배상식 총장, 스마트앤와이즈 이민주 연구소장, 리벨리온 박성현 대표이사가 참석했다. 교육부는 2025..

▶ AI·클라우드 분야 공동 사업 기획, 활용 기업 발굴 등 협력… 중소기업, 연구기관에 기술 도입 적극 지원▶ kt cloud, AI 인프라 수요 대응 및 맞춤형 서비스 제공 위해 AI서비스 라인업 지속 확대 예정▶ “파트너사와 협력 이어가며 고객들이 AI 서비스 개발에 몰두할 수 있는 인프라 환경 구현할 것”kt cloud(www.ktcloud.com, 대표이사 최지웅)와 한국정보통신진흥협회(회장 유영상, 이하 ‘KAIT’)는 7일 kt cloud 본사에서 AI∙클라우드 분야 공동사업을 위한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약을 통해 두 기관은 AI·클라우드 분야 ▲공동 사업 기획∙운영, ▲활용 및 확산 프로그램 개발·운영, ▲교육 프로그램 개발·운영 ▲활용 기업 발굴 및 인프라 서비스..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊