기술 블로그 (Tech) | kt cloud

kt cloud Cloud컨설팅팀 심대섭 님 📝 요약 SUMMARY 이 글에서는 장문 컨텍스트·RAG·AI 에이전트 확산으로 발생하는 AI 추론 메모리 병목과 HBM·Host DRAM·NVMe SSD·공유 스토리지 기반의 계층형 서버 아키텍처 변화를 다룹니다.GPU 중심 설계에서 데이터 이동과 메모리 효율 중심의 추론 인프라로 전환할 때 고려할 요소를 정리합니다.#AI추론 #KVCache #계층형메모리 #AI인프라 #GPU서버AI 추론 메모리 병목과 서버 변화는 2026년 AI 인프라를 이해할 때 반드시 짚어야 할 흐름입니다. AI 인프라를 이야기할 때 가장 먼저 떠오르는 요소는 여전히 GPU입니다. 대형 언어 모델 학습, 멀티모달 모델 처리, 고성능 AI 데이터센터 구축 모두 GPU 성능과 밀접..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 kt cloud AI SERV NPU를 활용하여 고객 문의 응답 보조 시스템을 구축한 사례를 소개합니다.GPU 대비 비용 효율적인 NPU 환경에서 LLM 모델을 최적화하고 문서 기반 자동 응답 시스템을 구현하는 방법을 다룹니다. #NPU #AI응답시스템 #LLM최적화 #문서검색 #비용효율AI 서비스에 대한 수요는 최근 몇 년 사이 급격히 증가하고 있습니다. 그에 따라 자연스럽게 GPU 기반 인프라에 대한 수요도 함께 높아지고 있으며, 특히 클라우드 환경에서는 다양한 AI 모델 학습 및 추론 워크로드를 처리하기 위한 GPU 자원의 확보가 중요한 과제가 되었습니다. 하지만 AI 모델의 크기와 복잡성이 커질수록 GPU 자원은 더욱 부족해지고 있으며, 사..

[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..