[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..

일시: 11월 09일 (목) 오후2시 장소: 온라인 (바로가기) 웨비나 개요 ▶ 클라우드 시장 흐름, 대응 전략 및 신규 상품 소개… 오는 9일 오후 2시 진행 ▶ 웨비나 첫 주제로 AI 추론 인프라 서비스 ‘AI SERV’, 관리형 DB 서비스 ‘DBaaS’ 소개 ▶ “고객사, 협력사와 소통하는 채널로써 깊이 있는 정보와 인사이트 제공해 나갈 것” kt cloud(http://www.ktcloud.com, 대표이사 윤동식)는 클라우드 시장 흐름, 대응 전략 및 신규 상품 등을 소개하는 정기 웨비나를 진행한다고 1일 밝혔다. kt cloud는 작년부터 파일럿 형태로 진행해 온 웨비나에 대한 참석자들의 높은 반응을 확인했고, 클라우드 도입을 검토 중인 고객사와 kt cloud 상품을 소개하는 파트너들의 이..

▶AI 서비스 제공 위해 경제성, 성능, 호환성 등 강점 살린 AI 추론용 혁신적 인프라 ▶ 성능 열화 없는 GPU 슬라이싱 기술 적용… 필요한 만큼 탄력적으로 활용 가능 ▶ “AI 전문기업, 스타트업이 부담 없이 AI 인프라 활용, 초거대 AI 활성화 위해 지속 노력할 것" AI 추론에 특화된 고성능의 GPU 인프라를 사용량에 맞게 보다 합리적인 비용으로 활용할 수 있게 됐다. kt cloud(www.ktcloud.com, 대표이사 윤동식)는 슬라이싱 기술을 GPU(Graphic Processing Unit, 그래픽처리장치)에 적용한 AI 추론 전용 인프라 서비스 ‘AI SERV’를 출시했다고 16일 밝혔다. 초거대 AI 분야에서 단기간 집중적으로 대용량, 고사양의 GPU가 필요한 학습 영역과 달리, ..