[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

▶ 대규모 GPU 노드 클러스터링, 동적할당 제어 등 성능, 비용 강점 살린 학습 전용 AI 인프라▶ H100 등 엔비디아 기반 서비스 제공… AI 연구의 호환성과 범용성 갖춰▶ “파트너들과 협업 이어가며 고객 맞춤형 AI 인프라 환경 구현할 것”kt cloud(http://www.ktcloud.com, 대표이사 최지웅)가 엔비디아 GPU(Graphic Processing Unit, 그래픽처리장치)를 적용한 AI 학습 전용 인프라 서비스, ‘AI Train’을 출시했다고 30일 밝혔다. 이번 출시된 AI Train은 초거대 AI 분야에서 단기간 집중적으로 대용량, 고사양의 GPU 공급이 필요한 학습 영역에 특화된 서비스다. AI Train은 kt cloud가 지난 ‘22년 선보인 HAC(Hyperscal..