기술 블로그 (Tech) | kt cloud

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

▶ 오픈소스 생태계 발전 위한 공유의 장, 전 세계 클라우드 전문가 1,500여명 참석 성황▶ 안재석 본부장 키노트, ‘kt cloud 패러다임의 변화: 의존성을 벗어나 주도적인 기술 리더로’▶ “오픈소스 생태계 발전에 함께 할 수 있어 영광, 서비스 기술과 인적 역량 강화로 기술 혁신을 리딩할 것”  kt cloud(www.ktcloud.com, 대표이사 최지웅)가 글로벌 오픈소스 컨퍼런스인 ‘오픈 인프라 서밋 아시아 2024’의 헤드라인 스폰서로 참여하며 안재석 기술본부장이 키노트 강연을 진행했다고 9월 4일 밝혔다. 오픈인프라 재단 주최로 9월 3일~4일 양일 간 수원 컨벤션센터에서 열린 ‘오픈 인프라 서밋 아시아 2024’에는 전 세계 클라우드 전문가 1,500여명이 참석한 것으로 전해졌다. 현장..

▶ 고성능 컴퓨팅 및 대규모 데이터 처리 등 고객사 AI GPU 수요 대응 ▶ 백석 AIDC-수도권 DC 연계한 통합 운용체계 ‘원 DC’ 구축... 안정적 NW·전력·공조 환경 구현▶ “지속적인 AIDC 확대와 운용 효율화 집중하며 국내 최고의 인프라 서비스 환경 제공할 것" kt cloud(www.ktcloud.com, 대표이사 최지웅)가 백석 AI데이터센터(AI Data Center, 이하 AIDC)’를 개관했다고 8월 30일 밝혔다. 지난 29일 오후 진행된 개관식에는 kt cloud 김승운 IDC본부장, KT 유경탁 미디어운용센터장 등이 참석했다. 백석 AIDC는 고집적, 고효율 차세대 냉각기술 등을 적용한 AI 전용 데이터센터다. kt cloud는 고성능 컴퓨팅 및 대규모 데이터 처리를 위한 ..