aicloud 2

[AI인프라] GPU 5만장 시대, AI 인프라 비즈니스 성공 조건

[ kt cloud Foundation플랫폼팀 서준호 님 ] 📋 요약 이 글에서는 AI 인프라 비즈니스의 핵심 경쟁력인 GPU 중심 인프라와 풀스택 최적화 전략을 다룹니다.운영 효율성과 비용 경쟁력을 높이는 실질적 방향을 정리합니다.#AI인프라 #GPU #풀스택최적화 #Neoclouds #AI데이터센터 1. Neoclouds 의 탄생Neoclouds의 목적은 단 하나, AI를 위한 최적의 환경을 제공하는 것입니다. 이들은 GPU 중심의 대규모 병렬 연산, 고대역폭 네트워킹, 저지연 스토리지, 고도화된 데이터센터 관리 기능을 갖추어 비용 효율적인 인프라 서비스를 제공합니다. 천편일률적인 옵션을 제시하는 Hyperscalers 와 달리, Neoclouds는 고객의 특수한 요구와 진화하는 ..

AMD MI250 GPU로 vLLM 최적화 하기 (feat. AI SERV)

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

Tech Story/AI Cloud 2024.10.14