[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ 대규모 GPU 노드 클러스터링, 동적할당 제어 등 성능, 비용 강점 살린 학습 전용 AI 인프라▶ H100 등 엔비디아 기반 서비스 제공… AI 연구의 호환성과 범용성 갖춰▶ “파트너들과 협업 이어가며 고객 맞춤형 AI 인프라 환경 구현할 것”kt cloud(http://www.ktcloud.com, 대표이사 최지웅)가 엔비디아 GPU(Graphic Processing Unit, 그래픽처리장치)를 적용한 AI 학습 전용 인프라 서비스, ‘AI Train’을 출시했다고 30일 밝혔다. 이번 출시된 AI Train은 초거대 AI 분야에서 단기간 집중적으로 대용량, 고사양의 GPU 공급이 필요한 학습 영역에 특화된 서비스다. AI Train은 kt cloud가 지난 ‘22년 선보인 HAC(Hyperscal..

▶ 클라우드 기반 교육 특화 AI서비스 개발과 활성화를 위해 교육기관, 업계 전문기업과 협업▶ kt cloud, 교육용 LLM 개발과 AI학습플랫폼 운영 위한 AI· Cloud 인프라 지원▶ “AI와 클라우드 인프라 적용 경험 기반으로 AI학습 모델, 교육용 LLM, AI학습플랫폼 개발 및 활용에 앞장설 것” kt cloud(www.ktcloud.com, 대표이사 최지웅)는 대구교육대학교, 스마트앤와이즈, 리벨리온과 ‘클라우드 기반 교육 특화 AI서비스 개발 및 활성화를 위한 MOU’를 체결했다고 9일 밝혔다. 5월 8일 대구교육대학교에서 진행된 협약식에는 kt cloud 최지웅 대표이사, 대구교육대학교 배상식 총장, 스마트앤와이즈 이민주 연구소장, 리벨리온 박성현 대표이사가 참석했다. 교육부는 2025..

▶KT 그룹 총 330억원 투자, AI 인프라 시장에서 중장기적 경쟁력 확보 의지 ▶국내 최초 NPU인프라 서비스 사용에 이어, 상품 라인업 강화 및 시장 확대 ▶“AI 인프라 고도화 비롯한 초거대 AI 산업 활성화 위한 투자, 협력 지속” kt cloud(www.ktcloud.com, 대표이사 황태현)가 토종 팹리스[1] ‘리벨리온(Rebellions)’에 100억원을 투자하며, 국내 AI 인프라 경쟁력 강화에 나선다고 30일 밝혔다. 이는 지난 ‘22년 KT그룹의 300억원대 투자에 이은 두번째 투자로 kt cloud가 100억원, KT가 200억원, KT 인베스트먼트는 30억원 등 총 330억원을 투자한다. kt cloud는 외산 시장의 의존도가 높은 AI 인프라 시장에서 국산 기술력 기반의 중장기..

▶ ‘AI반도체 시험검증 환경 조성’ 과제 주관… 공공 데이터센터 인프라 구축 및 실증 지휘 ▶ 1차년도 목표 인프라 구축 완료… AI서비스 실증 진행하며 공공 분야 활용 기대감 높여 ▶ “성공적인 사업 마무리로 AI반도체 기술 기반의 공공 서비스 구현에 최선을 다할 것” kt cloud(http://www.ktcloud.com)가 AICA(인공지능산업융합사업단)와 함께 진행하는 ‘AI반도체 시험검증 환경 조성’ 사업 1차년도 과제의 인프라 구축 목표를 달성하고, 서비스 실증까지 진행했다고 15일 밝혔다. ‘AI반도체 시험검증 환경 조성’ 사업은 과학기술정보통신부가 주관하는 ‘K-클라우드’ 프로젝트 중 하나로 광주광역시의 지원을 받아 AI반도체 산업 생태계를 조성하기 위해 인프라 구축 및 클라우드 기반 ..

세계적인 반도체 전쟁에서 승리하기 위해 K-클라우드 프로젝트로 국산 AI반도체가 조속히 레퍼런스를 확보해 국내는 물론 글로벌 시장에도 진출할 수 있도록 적극 지원하겠습니다. -'K-클라우드 프로젝트 1단계 착수보고회' 내용 中- AI는 수많은 데이터를 학습하고 추론한 결과를 도출합니다. 학습 데이터를 단시간에 받아들이고 처리하기 위해서는 ‘AI 반도체’가 필수인 시대가 도래하였는데요.😁😀 AI 반도체는 AI 서비스 구현에 필요한 대규모 연산을 초고속, 초전력으로 실행하는 효율성 측면에서 특화된 비메모리 반도체로 각광을 받고 있습니다. 🎊🎉 지난 8월 23일 시장조사업체 가트너가 발표한 AI반도체 시장의 성장률이 AI 산업의 장밋빛 미래를 실감케 합니다. 📃✏📌 보고서에 따르면, 올해 전 세계 AI 반도체..