[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ 대규모 GPU 노드 클러스터링, 동적할당 제어 등 성능, 비용 강점 살린 학습 전용 AI 인프라▶ H100 등 엔비디아 기반 서비스 제공… AI 연구의 호환성과 범용성 갖춰▶ “파트너들과 협업 이어가며 고객 맞춤형 AI 인프라 환경 구현할 것”kt cloud(http://www.ktcloud.com, 대표이사 최지웅)가 엔비디아 GPU(Graphic Processing Unit, 그래픽처리장치)를 적용한 AI 학습 전용 인프라 서비스, ‘AI Train’을 출시했다고 30일 밝혔다. 이번 출시된 AI Train은 초거대 AI 분야에서 단기간 집중적으로 대용량, 고사양의 GPU 공급이 필요한 학습 영역에 특화된 서비스다. AI Train은 kt cloud가 지난 ‘22년 선보인 HAC(Hyperscal..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ 클라우드 기반 교육 특화 AI서비스 개발과 활성화를 위해 교육기관, 업계 전문기업과 협업▶ kt cloud, 교육용 LLM 개발과 AI학습플랫폼 운영 위한 AI· Cloud 인프라 지원▶ “AI와 클라우드 인프라 적용 경험 기반으로 AI학습 모델, 교육용 LLM, AI학습플랫폼 개발 및 활용에 앞장설 것” kt cloud(www.ktcloud.com, 대표이사 최지웅)는 대구교육대학교, 스마트앤와이즈, 리벨리온과 ‘클라우드 기반 교육 특화 AI서비스 개발 및 활성화를 위한 MOU’를 체결했다고 9일 밝혔다. 5월 8일 대구교육대학교에서 진행된 협약식에는 kt cloud 최지웅 대표이사, 대구교육대학교 배상식 총장, 스마트앤와이즈 이민주 연구소장, 리벨리온 박성현 대표이사가 참석했다. 교육부는 2025..

▶ AI·클라우드 분야 공동 사업 기획, 활용 기업 발굴 등 협력… 중소기업, 연구기관에 기술 도입 적극 지원▶ kt cloud, AI 인프라 수요 대응 및 맞춤형 서비스 제공 위해 AI서비스 라인업 지속 확대 예정▶ “파트너사와 협력 이어가며 고객들이 AI 서비스 개발에 몰두할 수 있는 인프라 환경 구현할 것”kt cloud(www.ktcloud.com, 대표이사 최지웅)와 한국정보통신진흥협회(회장 유영상, 이하 ‘KAIT’)는 7일 kt cloud 본사에서 AI∙클라우드 분야 공동사업을 위한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약을 통해 두 기관은 AI·클라우드 분야 ▲공동 사업 기획∙운영, ▲활용 및 확산 프로그램 개발·운영, ▲교육 프로그램 개발·운영 ▲활용 기업 발굴 및 인프라 서비스..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊