[기술 가이드] AI 워크로드를 위한 NVIDIA GPU 서버 단계별 구성 노하우: 드라이버부터 딥러닝 프레임워크까지

[ kt cloud AI플랫폼팀 최지우 님 ] AI 개발을 위해 GPU 서버를 처음 준비할 때는, 운영체제만 설치한다고 해서 바로 사용할 수 있는 것은 아닙니다.딥러닝 모델을 학습시키거나 추론을 수행하려면, NVIDIA 드라이버를 시작으로 CUDA, cuDNN 같은 라이브러리, 그리고 PyTorch나 TensorFlow 같은 프레임워크까지 다양한 소프트웨어를 직접 설치하고 설정해야 합니다. 초기 상태의 서버를 기반으로 딥러닝 개발 환경을 제대로 갖추기 위해서는 어떤 구성 요소들이 필요한지, 각각 어떤 버전을 선택하는 것이 좋은지, 그리고 어떤 순서로 설치를 진행해야 하는지를 잘 아는 것이 중요합니다. 이번에는 GPU 서버를 처음 세팅하는 분들을 위해, 딥러닝 개발에 필요한 필수 구성 요소들과 권장 ..

[ kt cloud AI플랫폼팀 최지우 님 ] AI의 발전은 GPU를 인공지능과 데이터 분석에 없어서는 안 될 핵심 자원으로 자리매김하게 했습니다. 특히, 딥러닝과 같은 고성능 연산 작업에서 GPU의 처리 속도와 성능은 AI 모델의 결과물에 직접적인 영향을 미칩니다. 최근 대규모 언어 모델(LLM)의 확산과 함께, 이러한 모델을 학습하고 추론하는 데 필요한 GPU 자원의 수요가 기하급수적으로 늘어나고 있습니다. 이에 따라 GPU를 효율적으로 활용할 수 있는 클라우드 환경은 더 이상 선택이 아닌 필수로 여겨지고 있습니다. 클라우드 환경에서는 GPU가 다양한 방식으로 제공되는데, 대표적으로 가상 머신(VM)과 컨테이너 기반 가상화 기술이 있습니다. 각각의 가상화 방식은 자원의 활용성과 관리 효율성을 높이기..

[ kt cloud AI플랫폼팀 최지우 님 ]   AI 기술이 빠르게 발전하면서, 인공지능 모델의 학습 과정은 그 어느 때보다 중요한 요소로 자리 잡았습니다. 그러나 대규모 데이터를 처리하고 복잡한 모델을 학습시키는 과정은 여전히 많은 기업과 개발자들에게 큰 도전 과제입니다. 제한된 리소스, 학습 속도 저하, 그리고 효율적인 자원 관리의 필요성은 AI 개발 과정에서 늘 마주하는 고민입니다. 이러한 문제를 해결하기 위해 저희 kt cloud는 AI Train 서비스가 출시했습니다. AI Train은 최신 하드웨어와 소프트웨어 최적화를 통해 복잡한 AI 모델 학습 과정을 단순화하고 가속화합니다. 이 서비스는 단순히 빠르기만 한 것이 아니라, 누구나 쉽게 활용할 수 있는 직관적인 사용자 경험까지 제공합니다. ..

[ kt cloud AI플랫폼팀 최지우  님 ]  개요AI가 고도화되며 대규모 언어 모델(LLM)의 응답 품질과 정확도는 중요한 이슈로 떠오르고 있습니다. 그러나 LLM은 훈련 데이터에 포함된 정보만을 기반으로 작동하기 때문에, 최신 데이터나 특정 도메인에 특화된 정보 제공에는 한계가 있습니다. 이를 해결하기 위한 기술로 RAG(Retrieval-Augmented Generation)와 Vector DB가 주목받고 있습니다. 이 글에서는 RAG의 원리와 Vector DB가 어떻게 AI 모델의 응답 정밀도를 높이는지, 그리고 이를 활용해 실제 애플리케이션을 개념적으로 구성하는 방법을 다룹니다.1. RAG와 Vector Database란 무엇인가?RAG를 설명하기에 앞서 Vector DB에 대해 이해하는 것..

[kt cloud AI플랫폼팀 최지우 님]  GPU 1,000장 모니터링하기: NVIDIA DCGM 활용 전략 AI 플랫폼을 운영하며 수천 장의 GPU를 다루는 일은 결코 단순하지 않습니다. 서버 수가 늘어날수록 관리와 모니터링의 복잡도도 기하급수적으로 증가하고, 그만큼 예상치 못한 문제가 발생할 가능성도 커집니다. 특히 AI 플랫폼을 통해 수많은 고객에게 안정적인 서비스를 제공하려면 GPU 서버의 상태와 성능을 지속적으로 모니터링하는 것이 필수적입니다. 그러나 서버 수가 수백 대에 이르면, 각 GPU의 상태를 일일이 확인하는 것은 사실상 불가능에 가깝습니다. kt cloud에서는 AI Train, AI SERV 등 GPU 서버를 제공하는 서비스들에서 수천 장의 GPU를 제공하고 있습니다. 저희는 AI ..

[kt cloud AI플랫폼팀 최지우 님]  NPU로 sLM 서빙하기: 새로운 가능성 탐구 AI 기술이 발전함에 따라, AI 모델의 효율적인 배포와 운영을 위한 새로운 처리 장치도 개발되고 있습니다. 이 과정에서 NPU(Neural Processing Unit)라는 새로운 주자가 등장했습니다. NPU는 인공 신경망 연산을 위해 특별히 설계된 프로세서로, 기존의 GPU(Graphics Processing Unit)와는 다른 방식으로 AI 워크로드를 처리합니다.NPU는 대규모 병렬 처리를 가능하게 하며, 특히 신경망 연산에 최적화되어 있습니다. 이로 인해 NPU는 적은 전력으로 높은 성능을 낼 수 있습니다. AI 모델의 학습과 추론 과정에서 NPU는 더욱 효율적인 데이터 흐름과 메모리 관리로 성능을 크게 향..

[kt cloud AI플랫폼팀 최지우 님]    AMD MI250 GPU로 vLLM 최적화하기 최근 대규모 언어 모델(LLM)의 발전과 함께 인공지능 연구 및 상용화 과정에서 GPU의 수요가 급격히 증가하고 있습니다. 특히, NVIDIA는 이 분야에서 시장을 주도하며 AI 연산에 필수적인 GPU 기술을 제공하고 있지만, 수요에 비해 공급이 부족하고 가격이 높아지는 문제가 발생하고 있습니다. 이러한 상황에서 많은 기업과 연구 기관들은 더 경제적이면서도 성능이 뛰어난 대안을 모색하고 있습니다.그 중 하나가 vLLM 프로젝트입니다. vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. PagedAttention을 이용하여 Key-Value(KV) Cache가 저장되는 메모리를 blo..