[ kt cloud DC동부운용센터 박지현 님 ] 데이터센터에 새로운 냉각 방식이 필요한 이유2022년 11월 출시된 미국의 인공지능 연구소 오픈AI(OpenAI)의 챗GPT(ChatGPT)로부터 촉발된 인공지능(AI) 혁명은 전 산업 분야로 확산되며 디지털 전환을 가속화하고 있습니다. AI의 학습과 추론을 위해서는 AI 가속기(AI accelerator)와 같은 스펙이 높은 하드웨어가 필요하게 되는데 하드웨어의 성능 향상에 따라 전력 요구 사항 또한 증가하고 있습니다. 장치에서 사용되는 전기 에너지는 열에너지로 변환되기 때문에 AI 인프라가 설치된 데이터센터에서는 열이 많이 발생하게 됩니다. AI 서비스 환경에 특화된 데이터센터(Data Center)에서는 기존의 냉각 방식인 공기 냉각 방식(Air C..

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

▶ 오픈소스 생태계 발전 위한 공유의 장, 전 세계 클라우드 전문가 1,500여명 참석 성황▶ 안재석 본부장 키노트, ‘kt cloud 패러다임의 변화: 의존성을 벗어나 주도적인 기술 리더로’▶ “오픈소스 생태계 발전에 함께 할 수 있어 영광, 서비스 기술과 인적 역량 강화로 기술 혁신을 리딩할 것”  kt cloud(www.ktcloud.com, 대표이사 최지웅)가 글로벌 오픈소스 컨퍼런스인 ‘오픈 인프라 서밋 아시아 2024’의 헤드라인 스폰서로 참여하며 안재석 기술본부장이 키노트 강연을 진행했다고 9월 4일 밝혔다. 오픈인프라 재단 주최로 9월 3일~4일 양일 간 수원 컨벤션센터에서 열린 ‘오픈 인프라 서밋 아시아 2024’에는 전 세계 클라우드 전문가 1,500여명이 참석한 것으로 전해졌다. 현장..

▶ 고성능 컴퓨팅 및 대규모 데이터 처리 등 고객사 AI GPU 수요 대응 ▶ 백석 AIDC-수도권 DC 연계한 통합 운용체계 ‘원 DC’ 구축... 안정적 NW·전력·공조 환경 구현▶ “지속적인 AIDC 확대와 운용 효율화 집중하며 국내 최고의 인프라 서비스 환경 제공할 것" kt cloud(www.ktcloud.com, 대표이사 최지웅)가 백석 AI데이터센터(AI Data Center, 이하 AIDC)’를 개관했다고 8월 30일 밝혔다. 지난 29일 오후 진행된 개관식에는 kt cloud 김승운 IDC본부장, KT 유경탁 미디어운용센터장 등이 참석했다. 백석 AIDC는 고집적, 고효율 차세대 냉각기술 등을 적용한 AI 전용 데이터센터다. kt cloud는 고성능 컴퓨팅 및 대규모 데이터 처리를 위한 ..