[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶ 클라우드 기반 교육 특화 AI서비스 개발과 활성화를 위해 교육기관, 업계 전문기업과 협업▶ kt cloud, 교육용 LLM 개발과 AI학습플랫폼 운영 위한 AI· Cloud 인프라 지원▶ “AI와 클라우드 인프라 적용 경험 기반으로 AI학습 모델, 교육용 LLM, AI학습플랫폼 개발 및 활용에 앞장설 것” kt cloud(www.ktcloud.com, 대표이사 최지웅)는 대구교육대학교, 스마트앤와이즈, 리벨리온과 ‘클라우드 기반 교육 특화 AI서비스 개발 및 활성화를 위한 MOU’를 체결했다고 9일 밝혔다. 5월 8일 대구교육대학교에서 진행된 협약식에는 kt cloud 최지웅 대표이사, 대구교육대학교 배상식 총장, 스마트앤와이즈 이민주 연구소장, 리벨리온 박성현 대표이사가 참석했다. 교육부는 2025..

▶ AI·클라우드 분야 공동 사업 기획, 활용 기업 발굴 등 협력… 중소기업, 연구기관에 기술 도입 적극 지원▶ kt cloud, AI 인프라 수요 대응 및 맞춤형 서비스 제공 위해 AI서비스 라인업 지속 확대 예정▶ “파트너사와 협력 이어가며 고객들이 AI 서비스 개발에 몰두할 수 있는 인프라 환경 구현할 것”kt cloud(www.ktcloud.com, 대표이사 최지웅)와 한국정보통신진흥협회(회장 유영상, 이하 ‘KAIT’)는 7일 kt cloud 본사에서 AI∙클라우드 분야 공동사업을 위한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약을 통해 두 기관은 AI·클라우드 분야 ▲공동 사업 기획∙운영, ▲활용 및 확산 프로그램 개발·운영, ▲교육 프로그램 개발·운영 ▲활용 기업 발굴 및 인프라 서비스..

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

해당 게시글은 뉴스레터 회원가입 등 구독을 통해 자세히 보실 수 있습니다. 🙌 현재, 미리보기로 콘텐츠가 제공됩니다. 😊

▶AI디지털교과서 위해 AI 활용한 학습분석 및 개인별 맞춤형 교육 구현 지원 ▶kt cloud-스마트앤와이즈, 교육용 LLM 개발 통해 규제 및 룰베이스의 한계 극복 ▶kt cloud, “GPU 이용부담 줄이기 위해 NPU 전환에 필요한 기술과 컨설팅 제공할 것” kt cloud(www.ktcloud.com, 대표이사 황태현)가 스마트앤와이즈와 함께 ‘AI기반 학습분석 플랫폼’을 본격적으로 선보인다고 8일 밝혔다. 양사는 지난 해 AI디지털교과서 사업을 위한 업무협약을 맺고, AI디지털교과서 구축에 필요한 AI학습분석 제공 플랫폼을 공동 개발했다. AI디지털교과서는 AI기반 학습 데이터를 수집∙분석하고, AI보조교사와 실시간으로 상호작용하며 학생별로 맞춤화된 교육을 제공하는 것이 핵심이다. 이를 위해 ..

▶ ‘2024 금융 클라우드 지원 사업’ 소개 및 ‘금융 IT 안정성 강화를 위한 가이드’ 안내 ▶4년 연속 사업 공급자 선정, 기업별 최대 9,600만원 바우처 및 500만원 상당 쿠폰 제공 ▶“안정성 높은 인프라, 전문 컨설팅 역량, 노하우로 성공적인 비즈니스를 적극 지원할 것” kt cloud(http://www.ktcloud.com, 대표이사 황태현)가 ‘금융 클라우드 지원 사업 완전 정복’을 주제로 오는 8일 오후 2시에 웨비나를 개최한다. 이번 웨비나는 핀테크∙금융 기업을 대상으로 클라우드 도입, 활용을 위한 공공 사업에 대한 궁금증을 해소하는 자리로, ▲ ‘2024 금융 클라우드 지원사업’ ▲ ‘금융 IT 안정성 강화를 위한 가이드라인’의 2개 세션으로 진행된다. 금번 웨비나는 kt clou..