[기술 가이드] AI 워크로드를 위한 NVIDIA GPU 서버 단계별 구성 노하우: 드라이버부터 딥러닝 프레임워크까지

 

 [ kt cloud AI플랫폼팀 최지우 님 ] 

 

 

 

AI 개발을 위해 GPU 서버를 처음 준비할 때는, 운영체제만 설치한다고 해서 바로 사용할 수 있는 것은 아닙니다.

딥러닝 모델을 학습시키거나 추론을 수행하려면, NVIDIA 드라이버를 시작으로 CUDA, cuDNN 같은 라이브러리, 그리고 PyTorch나 TensorFlow 같은 프레임워크까지 다양한 소프트웨어를 직접 설치하고 설정해야 합니다.

 

초기 상태의 서버를 기반으로 딥러닝 개발 환경을 제대로 갖추기 위해서는 어떤 구성 요소들이 필요한지, 각각 어떤 버전을 선택하는 것이 좋은지, 그리고 어떤 순서로 설치를 진행해야 하는지를 잘 아는 것이 중요합니다.

 

이번에는 GPU 서버를 처음 세팅하는 분들을 위해, 딥러닝 개발에 필요한 필수 구성 요소들과 권장 버전, 그리고 설치 순서를 자세히 정리했습니다. 운영체제나 서버 사양에 따라 세부적인 방법은 조금씩 다를 수 있지만, 여기서는 대부분의 환경에 공통으로 적용할 수 있는 핵심 단계를 중심으로 설명합니다.

---

1. 기본 시스템 업데이트

먼저 구성하고자 하는 서버 환경에서 시스템을 최신 상태로 업데이트 합니다.

** [Ubuntu / Debian 계열] **
sudo apt update
sudo apt upgrade
sudo apt autoclean
sudo apt autoremove

** [Rocky / RHEL 계열] **
sudo dnf update
sudo dnf clean all

---

2. nouveau module 비활성화

NVIDIA 드라이버 및 관련 툴킷을 설치하기 전에, 시스템에 기본으로 포함된 오픈 소스 그래픽 드라이버인 nouveau 모듈을 비활성화해야 합니다. nouveau는 무료 오픈 소스로 제공되지만, NVIDIA의 공식 드라이버 및 CUDA toolkit과 충돌을 일으킬 수 있어 반드시 제거 또는 비활성화가 필요합니다.

 

현재 nouveau가 활성화되어 있는지는 다음 명령어로 확인할 수 있습니다.

lsmod | grep nouveau

이 경우 etc/default/grub : GRUB_CMDLINE_LINUX 라인에 “modprobe.blacklist=nouveau nouveau.modeset=0” 내용을 추가합니다.

그리고 /etc/modprobe.d/nouveau-blacklist.conf 맨 아래에 아래 2줄을 추가합니다.

blacklist nouveau
options nouveau modeset=0

이후 초기 RAM 디스크(initramfs)를 다시 생성합니다.

** [Ubuntu / Debian 계열] **
sudo update-initramfs -u
** [Rocky / RHEL 계열] **
sudo dracut --force

마지막으로 커널 모듈 의존성을 재구성하고, GRUB 설정을 재생성합니다.

depmod -a
grub2-mkconfig -o /boot/grub2/grub.cfg
grub2-mkconfig -o /boot/efi/EFI/rocky/grub.cfg

이제 시스템을 reboot 후 lsmod 명령어로 nouveau module이 비활성화 되었는지 확인합니다.

---

3. Nvidia Driver 설치

3-1. 기존 Nvidia Driver 삭제 (필요 시)

보통 패키지 관리 도구를 통해 설치했으면 dnf remove nvidia-driver* 명령어 등으로 삭제 가능합니다.

 

하지만 .run 파일로 설치한 드라이버는 패키지 관리 도구 (dnf 등)와 통합되지 않으므로, NVIDIA 제공 도구를 사용하여 삭제하거나 수동으로 제거해야 합니다.

sudo /usr/bin/nvidia-uninstall

이후 nvidia-smi, lsmod | grep nvidia 명령어를 실행하였을 때 아무것도 출력되지 않으면 성공입니다.

만약 nvidia 관련 커널 모듈이 출력된다면, nvidia 관련 프로세스가 있는지 확인하고 해당 프로세스를 종료시킨 뒤 모듈 제거해야 합니다.

3-2. 신규 Nvidia Driver 설치

CUDA 버전과 사용 중인 GPU에 따라 호환되는 NVIDIA 드라이버 버전이 다르므로, 먼저 NVIDIA 공식 페이지(https://www.nvidia.com/ko-kr/drivers/) 에서 버전을 확인합니다.

 

이 환경에서는 570.124.06 버전을 기준으로 설치를 진행하였습니다.

3-3. run 파일 다운로드 및 업로드

해당 .run 파일을 서버로 업로드합니다. 예시로 다음 경로를 사용하였습니다.

• Ubuntu: /home/ubuntu
• Rocky Linux: /home/cloud-user

3-4. 실행 권한 부여 및 설치 실행

파일에 실행 권한을 부여한 뒤, 설치를 진행합니다.

chmod +x NVIDIA-Linux-x86_64-570.124.06.run
sudo ./NVIDIA-Linux-x86_64-570.124.06.run

3-5. 설치 확인

설치가 완료되면 nvidia-smi 명령어로 드라이버가 정상 설치되었는지 확인합니다.

 

만약 nvidia-smi 실행 시 반응이 매우 느리거나 출력이 지연된다면, 관련 데몬을 수동으로 실행해볼 수 있습니다.

sudo /usr/bin/nvidia-smi daemon

Ubuntu 환경에서 NVIDIA 드라이버를 정상적으로 설치하고 사용하던 중, 간혹 다음과 같은 오류와 함께 nvidia-smi 명령어가 동작하지 않는 경우가 있습니다:

Failed to initialize NVML: Driver/library version mismatch

이 오류는 GPU 드라이버의 커널 모듈 버전과 사용자 공간 라이브러리 버전이 일치하지 않을 때 발생합니다.

 

Ubuntu 시스템에서는 보안을 위해 unattended-upgrades라는 서비스가 기본 활성화되어 있습니다. 이 서비스는 중요한 보안 업데이트나 패키지 업데이트를 자동으로 수행해 시스템을 최신 상태로 유지해줍니다.

 

하지만 이 과정에서 nvidia-driver, libnvidia-* 등 NVIDIA 관련 패키지가 자동으로 업데이트되면서 드라이버 라이브러리 버전은 업데이트되었지만, 커널 모듈은 여전히 이전 버전을 사용하는 상태가 되어 버전 불일치가 발생하게 됩니다.

 

이 문제를 사전에 방지하려면, unattended-upgrades의 자동 업데이트 대상에서 NVIDIA 관련 패키지를 제외하는 것이 좋습니다. 아래 설정 파일을 열어서,

sudo vi /etc/apt/apt.conf.d/50unattended-upgrades

Package-Blacklist 항목에 다음 내용을 추가합니다.

Unattended-Upgrade::Package-Blacklist {     "nvidia-*"; };

이렇게 하면 nvidia-driver, nvidia-utils, libnvidia-* 등 관련 패키지들이 자동 업데이트 대상에서 제외됩니다. 이미 자동으로 업데이트 되어 설치된 경우에는 기존 모듈을 삭제해보거나 설치된 driver를 완전 삭제 후 재설치를 진행합니다.

---

4. CUDA Toolkit 설치

기존 설치된 CUDA 를 삭제하려면 아래와 같이 진행합니다.

** [Rocky / RHEL 계열] **
rpm -qa | grep -i cuda                            # 설치된 패키지 확인
sudo dnf remove -y cuda*                          # cuda 및 관련 패키지 제거
sudo dnf remove -y libcudnn* libnccl* nvidia*     # cuDNN 및 NCCL 라이브러리 제거 CUDA와 함께 설치된 라이브러리도 제거
sudo dnf clean all                                # 캐시 정리

** [Ubuntu / Debian 계열] **
dpkg -l | grep -i cuda                                        # 설치된 패키지 확인
sudo apt remove --purge -y cuda*                              # cuda 및 관련 패키지 제거
sudo apt remove --purge -y libcudnn* libnccl* nvidia*         # cuDNN 및 NCCL 라이브러리 제거 CUDA와 함께 설치된 라이브러리도 제거
sudo apt-add-repository --remove ppa:graphics-drivers/ppa     # NVIDIA 저장소 제거
sudo apt autoremove -y                                        # 캐시 정리
sudo apt clean

** 공통 **
ll /usr/local/cuda*    
rm -rf /usr/local/cuda*

4-1. Rocky

먼저 Rocky 9.4 에서 패키지 관리 도구를 통해 cuda toolkit 을 설치하는 과정에 대해서 진행하겠습니다.

******************************************** [Rocky / RHEL 계열] ********************************************
### 각 OS 버전에 맞는 repo를 추가해줍니다.
[test@hostname ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo
[test@hostname ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo
### 설치하려는 cuda toolkit 버전을 확인합니다.
[test@hostname ~]$ sudo dnf search cuda | grep toolkit
cuda-rhel9-x86_64                               1.4 MB/s | 2.2 MB     00:01
Rocky Linux 9 - BaseOS                          3.2 MB/s | 2.3 MB     00:00
Rocky Linux 9 - AppStream                       7.6 MB/s | 8.3 MB     00:01
Rocky Linux 9 - Extras                           26 kB/s |  16 kB     00:00
cuda-minimal-build-11-7.x86_64 : Minimal CUDA 11.7 toolkit build packages.
cuda-minimal-build-11-8.x86_64 : Minimal CUDA 11.8 toolkit build packages.
cuda-minimal-build-12-0.x86_64 : Minimal CUDA 12.0 toolkit build packages.
.........
### 버전을 확인하고 설치를 진행합니다.
[test@hostname ~]$ sudo dnf install cuda-toolkit-12-4
[root@test-rocky94 cloud-user]# dnf install cuda-toolkit-12-4
Last metadata expiration check: 0:00:06 ago on Mon 16 Dec 2024 02:40:41 PM KST.
Dependencies resolved.
=============================================================================================================================================================================================================================
 Package                                                        Architecture                          Version                                                         Repository                                        Size
=============================================================================================================================================================================================================================
Installing:
 cuda-toolkit-12-4                                              x86_64                                12.4.1-1                                                        cuda-rhel9-x86_64                                8.7 k
Installing dependencies:
 cuda-cccl-12-4                                                 x86_64                                12.4.127-1                                                      cuda-rhel9-x86_64                                1.9 M
 cuda-command-line-tools-12-4                                   x86_64                                12.4.1-1                                                        cuda-rhel9-x86_64                                7.4 k
..........
### 설치가 완료되면 환경변수를 설정해 줍니다.
[test@hostname ~]$ echo 'export PATH="/usr/local/cuda/bin:$PATH"' >> ~/.bashrc
[test@hostname ~]$ echo 'export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"' >> ~/.bashrc
[test@hostname ~]$ source ~/.bashrc
### 원하는 cuda 버전으로 설치가 되었는지 확인합니다. (설치 완료)
[test@hostname ~]$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

4-2. Ubuntu

다음으로 Ubuntu 환경에서 cuda toolkit을 설치하는 과정에 대해서 알아봅니다. 이번에는 패키지 관리 도구를 통해 진행하지 않고 run 파일을 다운 받아 진행해보도록 하겠습니다.

 

CUDA Toolkit Archive(https://developer.nvidia.com/cuda-toolkit-archive) 에서 설치하고자 하는 cuda 버전을 확인합니다. 여기서는 12.8.1 버전을 설치합니다.

설치 가이드에 따라 wget 명령어로 .run 파일을 다운로드한 후 실행합니다. 이때 해당 .run 파일에는 실행 권한을 부여해야 하며, 아래 순서대로 설치를 진행합니다.

 

설치 과정 중에는 CUDA Toolkit만 설치하도록 선택하고, 나머지 구성 요소(NVIDIA 드라이버 등)는 해제합니다.

설치가 완료되면 다음과 같이 출력 됩니다.

환경변수 설정을 해주고 원하는 CUDA 버전이 설치되었는지 확인합니다.

### 설치가 완료되면 환경변수를 설정해 줍니다.
[test@hostname ~]$ echo 'export PATH="/usr/local/cuda/bin:$PATH"' >> ~/.bashrc
[test@hostname ~]$ echo 'export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"' >> ~/.bashrc
[test@hostname ~]$ source ~/.bashrc
### 원하는 cuda 버전으로 설치가 되었는지 확인합니다. (설치 완료)
[test@hostname ~]$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:23:50_PST_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0

---

5. cuDNN 설치

이제 설치된 CUDA 버전에 호환 가능한 cuDNN 버전을 확인하고 설치를 진행합니다. 다음 사이트에서 호환 가능한 버전을 확인하세요. (https://developer.nvidia.com/rdp/cudnn-archive)

여기서는 cuDNN 8.9.7 버전을 설치합니다. NVIDIA 개발자 센터에서 Local Installer for Linux x86_64 (Tar) 형식의 파일인 cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz를 다운로드하고, 원하는 서버 경로에 업로드합니다. 다운로드를 위해 NVIDIA 계정 로그인 또는 회원가입이 필요할 수 있습니다.

1. 압축 해제 및 디렉토리 이동

tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz 
cd cudnn-linux-x86_64-8.9.7.29_cuda12-archive

2. CUDA 경로에 파일 복사 및 권한 설정

해당 디렉토리들을 cuda 하위 경로에 복사하고, 모든 사용자에게 읽기 권한을 부여합니다.

sudo cp include/cudnn*.h /usr/local/cuda/include/ 
sudo cp lib/libcudnn* /usr/local/cuda/lib64/ 
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

압축을 풀면 include/와 lib/ 디렉토리가 생성됩니다.

[test@hostname ~]$ cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
# 출력 결과
#define CUDNN_MAJOR 8
#define CUDNN_MINOR 9
#define CUDNN_PATCHLEVEL 4

이로써 cuDNN도 설치가 완료되었습니다.

---

6. PyTorch 설치

이번에는 가장 널리 쓰이는 PyTorch 프레임워크를 설치해보겠습니다.

(설치 참고: https://pytorch.kr/get-started/locally/ )

설치 전, 기존 설치된 PyTorch가 있다면 확인 후 제거 해주는 것이 좋습니다.

[test@hostname ~]$ pip freeze | grep -e torch
torch==2.5.1+cu124
torchaudio==2.5.1+cu124
torchvision==0.20.1+cu124
[test@hostname ~]$ pip uninstall torch torchaudio torchvision
Found existing installation: torch 2.5.1+cu124
Uninstalling torch-2.5.1+cu124:
  Would remove:
    /usr/local/bin/convert-caffe2-to-onnx
    /usr/local/bin/convert-onnx-to-caffe2
    /usr/local/bin/torchfrtrace
........

설치 전, pip 버전이 최신인지 확인하고 업그레이드 해줍니다.

[test@hostname ~]$ pip install --upgrade pip
Requirement already satisfied: pip in /usr/local/lib/python3.9/site-packages (24.3.1)

이제 PyTorch 를 설치해줍니다.

[test@hostname ~]$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
Looking in indexes: https://download.pytorch.org/whl/cu124
Collecting torch
  Downloading https://download.pytorch.org/whl/cu124/torch-2.5.1%2Bcu124-cp39-cp39-linux_x86_64.whl (908.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 908.3/908.3 MB 32.3 MB/s eta 0:00:00
Collecting torchvision
  Downloading https://download.pytorch.org/whl/cu124/torchvision-0.20.1%2Bcu124-cp39-cp39-linux_x86_64.whl (7.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 7.3/7.3 MB 87.7 MB/s eta 0:00:00
Collecting torchaudio
  Downloading https://download.pytorch.org/whl/cu124/torchaudio-2.5.1%2Bcu124-cp39-cp39-linux_x86_64.whl (3.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.4/3.4 MB 32.1 MB/s eta 0:00:00
Requirement already satisfied: filelock in /usr/local/lib/python3.9/site-packages (from torch) (3.13.1)
Requirement already satisfied: typing-extensions>=4.8.0 in /usr/local/lib/python3.9/site-packages (from torch) (4.12.2)
.......

설치가 완료되면 설치된 버전이 맞는지 확인해봅니다.

[test@hostname ~]$ python
Python 3.9.21 (main, Dec  5 2024, 00:00:00)
[GCC 11.5.0 20240719 (Red Hat 11.5.0-2)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> torch.__version__
'2.5.1+cu124'

cudnn 라이브러리를 인식하지 못하는 import error 가 발생한다면, 해당 경로를 확인해보거나 심볼릭 링크가 제대로 되어 있는지 확인하여야 합니다.

여기서는 별도로 CUDA12 와 호환되는 cuDNN 9버전 라이브러리를 별도 설치하고, 심볼릭 링크를 조정하여 해결하였습니다.

dnf install libcudnn9-cuda-12
sudo ln -s /usr/local/lib/python3.9/site-packages/nvidia/nccl/lib/libnccl.so.2 /usr/local/cuda/lib64/libnccl.so.2

---

7. Tensorflow 설치

TensorFlow도 PyTorch 와 마찬가지로 pip를 통해 설치하고 버전을 확인할 수 있습니다.

[test@hostname ~]$ pip install tensorflow
Collecting tensorflow
  Downloading tensorflow-2.18.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.1 kB)
Requirement already satisfied: absl-py>=1.0.0 in /usr/local/lib/python3.9/site-packages (from tensorflow) (2.1.0)
Requirement already satisfied: astunparse>=1.6.0 in /usr/local/lib/python3.9/site-packages (from tensorflow) (1.6.3)
Requirement already satisfied: flatbuffers>=24.3.25 in /usr/local/lib/python3.9/site-packages (from tensorflow) (24.3.25)
......
[test@hostname ~]$  python
Python 3.9.21 (main, Dec  5 2024, 00:00:00)
[GCC 11.5.0 20240719 (Red Hat 11.5.0-2)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow
2024-12-16 17:06:13.515581: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
2024-12-16 17:06:13.535149: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:477] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
E0000 00:00:1734336373.554667  163450 cuda_dnn.cc:8310] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
E0000 00:00:1734336373.560508  163450 cuda_blas.cc:1418] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
2024-12-16 17:06:13.584138: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
To enable the following instructions: AVX2 AVX512F AVX512_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
>>> tensorflow.__version__
'2.18.0'

모든 설치가 끝난 뒤에는 nvidia-smi, nvcc -V, torch.cuda.is_available(), tf.config.list_physical_devices('GPU') 등으로 GPU 환경이 정상 구성되었는지 꼭 확인해보세요.

---

마무리

AI 개발을 위한 GPU 서버 환경 구성은 단순히 운영체제를 설치하는 것을 넘어서, 드라이버부터 CUDA, cuDNN, 그리고 딥러닝 프레임워크까지 세심한 설정이 요구됩니다. 특히 호환 가능한 버전 조합과 설치 순서를 잘못 선택하면, 예상치 못한 오류나 성능 저하로 이어질 수 있습니다.

 

이 글에서는 운영체제 종류에 따라 나뉘는 설치 방식과 핵심 설정 단계들을 차례대로 정리해보았습니다. 직접 환경을 구성해야 하는 상황에서도, 이 가이드의 순서대로 따라가면 누구나 안정적인 딥러닝 개발 환경을 구축할 수 있을 것입니다.

 

하지만 더 간편한 방법도 있습니다.

kt cloud의 GPUaaS 상품은, 위에서 설명한 NVIDIA 드라이버, CUDA, cuDNN, PyTorch, TensorFlow 등의 주요 패키지가 사전 설치된 개발 환경 이미지를 통해 바로 제공됩니다.

 

복잡한 환경 구성 없이, GPU와 이미지만만 선택하고 자원을 생성하면 즉시 딥러닝 개발을 시작할 수 있는 최적의 환경이 마련됩니다.

 

앞으로의 AI 개발 여정에 kt cloud가 든든한 기반이 되길 바랍니다. 🚀

 

---

[관련/출처]

Ubuntu Nouveau 비활성화 (NVIDIA 그래픽 드라이버 설치) CUDA Toolkit Archive cuDNN Archive 파이토치 한국 사용자 모임