기술 블로그 (Tech) | kt cloud

kt cloud Cloud컨설팅팀 심대섭 님 📝 요약 SUMMARY 이 글에서는 장문 컨텍스트·RAG·AI 에이전트 확산으로 발생하는 AI 추론 메모리 병목과 HBM·Host DRAM·NVMe SSD·공유 스토리지 기반의 계층형 서버 아키텍처 변화를 다룹니다.GPU 중심 설계에서 데이터 이동과 메모리 효율 중심의 추론 인프라로 전환할 때 고려할 요소를 정리합니다.#AI추론 #KVCache #계층형메모리 #AI인프라 #GPU서버AI 추론 메모리 병목과 서버 변화는 2026년 AI 인프라를 이해할 때 반드시 짚어야 할 흐름입니다. AI 인프라를 이야기할 때 가장 먼저 떠오르는 요소는 여전히 GPU입니다. 대형 언어 모델 학습, 멀티모달 모델 처리, 고성능 AI 데이터센터 구축 모두 GPU 성능과 밀접..

kt cloud Azure전환TF 이영호 님 📝 요약 SUMMARY 이 글에서는 에이전틱 AI 확산에 따른 LLM 추론 최적화와 양자화, KV 캐시, 추론 전용 칩의 변화를 다룹니다.제한된 인프라에서 성능과 비용을 함께 고려해야 하는 방향을 정리합니다.#에이전틱AI #LLM추론 #양자화 #KV캐시 #추론전용칩최근 AI 산업의 패러다임은 '학습(Training)' 단계를 넘어 '추론(Inference)'의 효율화로 완전히 넘어가고 있습니다. 이는 단순히 사용자의 질문에 한 번 답하고 끝나는 챗봇을 넘어, AI가 스스로 문맥을 파악하고 연속적인 작업을 수행하는 '에이전틱 AI(Agentic AI)' 시대가 본격적으로 열렸기 때문입니다. Deloitte에 따르면 2023년 전체 AI 컴퓨팅의 약 1/3..