[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 kt cloud AI SERV NPU를 활용하여 고객 문의 응답 보조 시스템을 구축한 사례를 소개합니다.GPU 대비 비용 효율적인 NPU 환경에서 LLM 모델을 최적화하고 문서 기반 자동 응답 시스템을 구현하는 방법을 다룹니다. #NPU #AI응답시스템 #LLM최적화 #문서검색 #비용효율AI 서비스에 대한 수요는 최근 몇 년 사이 급격히 증가하고 있습니다. 그에 따라 자연스럽게 GPU 기반 인프라에 대한 수요도 함께 높아지고 있으며, 특히 클라우드 환경에서는 다양한 AI 모델 학습 및 추론 워크로드를 처리하기 위한 GPU 자원의 확보가 중요한 과제가 되었습니다. 하지만 AI 모델의 크기와 복잡성이 커질수록 GPU 자원은 더욱 부족해지고 있으며, 사..

[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..