🔥알림🔥
① 테디노트 유튜브 - 구경하러 가기!
② LangChain 한국어 튜토리얼 바로가기 👀
③ 랭체인 노트 무료 전자책(wikidocs) 바로가기 🙌
④ RAG 비법노트 LangChain 강의오픈 바로가기 🙌
⑤ 서울대 PyTorch 딥러닝 강의 바로가기 🙌

2 분 소요

본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.

기존 설치된 CUDA 삭제

아래의 명령어를 순차로 실행하여 기존에 설치된 NVidia 드라이버를 삭제합니다.

sudo apt-get purge nvidia*
sudo apt-get autoremove
sudo apt-get autoclean
sudo rm -rf /usr/local/cuda*

Key 추가

sudo wget -O /etc/apt/preferences.d/cuda-repository-pin-600 https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"

설치할 드라이버 확인

설치 가능한 NVidia driver 리스트를 확인 합니다.

ubuntu-drivers devices

CleanShot 2023-03-19 at 00.08.30

설치 가능한 nvidia driver 디바이스 목록이 출력됩니다.

하기의 링크에서 설치하고자 하는 CUDA 버전과 그에 따른 nvidia driver 리스트를 확인할 수 있습니다.

링크: https://docs.nvidia.com/deploy/cuda-compatibility/index.html#binary-compatibility__table-toolkit-driver

CleanShot 2023-03-18 at 05.19.42

nvidia-driver 설치

CUDA 11.8 설치를 위하여 nvidia driver 는 nvidia-driver-520 으로 설치를 진행하였습니다.

CleanShot 2023-03-19 at 00.06.02

sudo apt-get install nvidia-driver-520
sudo apt-get install dkms nvidia-modprobe
sudo apt-get update
sudo apt-get upgrade

설치가 모두 완료되었으면, 서버를 재시작합니다.

재시작

sudo reboot now

재시작 후 잘 설치가 되었는지 확인합니다.

nvidia-smi

Capture-20230319-010242

CUDA Toolkit 11.8 Downloads

CleanShot 2023-03-18 at 05.16.56

위와 같이 설정한 경우 출력에 bash command를 아래와 같이 출력해 줍니다.

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2004-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

(서버에 처음 설치하는 경우만) gcc 관련 설치

sudo apt update 
sudo apt install build-essential 
sudo apt-get install manpages-dev

환경변수 등록

출력 되는 CUDA 목록에서 설치하고자 하는 CUDA 버전 폴더를 확인합니다.

ls /usr/local | grep cuda

만약, cuda-11.8 폴더가 대상이라면, 다음의 명령어로 환경변수를 등록할 수 있습니다. 만약 설치하고자 하는 CUDA 버전이 해당 버전을 11.8 대신 치환하여 기입한 후 실행하면 됩니다.

환경변수 등록

  $ sudo sh -c "echo 'export PATH=$PATH:/usr/local/cuda-11.8/bin'>> /etc/profile"
  $ sudo sh -c "echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.8/lib64'>> /etc/profile"
  $ sudo sh -c "echo 'export CUDARDIR=/usr/local/cuda-11.8'>> /etc/profile"
  $ source /etc/profile

nvcc 버전 확인

-V 에서 V는 대문자 입니다.

nvcc -V

Capture-20230319-002408

오류가 발생한다면

sudo apt install nvidia-cuda-toolkit

cuDNN 설치

cuDNN 설치파일 다운로드를 위하여 아래의 링크로 접속합니다.

링크: https://developer.nvidia.com/rdp/cudnn-download

아래에서 설치할 CUDA 버전을 선택 합니다.

CleanShot 2023-03-19 at 00.17.20

그런 다음 아래의 목록에서 설치 파일을 받습니다.

Capture-20230319-003231

터미널 원격 접속하는 경우 wget 명령어로 다운로드 받아 진행합니다.

다음의 명령어를 실행하여 cuDNN을 설치합니다. cuDNN 의 버전과 CUDA 버전은 자신의 버전에 맞게 수정합니다.

cuDNN 8.8.1.3 CUDA11.8 을 설치하는 경우

sudo dpkg -i cudnn-local-repo-ubuntu2004-8.8.1.3_1.0-1_amd64.deb
sudo apt-get install libcudnn8=8.8.1.3-1+cuda11.8

nvidia-docker2 설치

nvidia의 gpu 도커를 사용하기 위하여 다음의 명령어로 설치를 진행합니다.

GPG key를 등록 합니다.

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

nvidia-container-toolkit를 설치합니다.

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

nvidia-docker2를 설치합니다.

sudo apt-get install -y nvidia-docker2

설치가 완료되었으면, 도커를 재부팅합니다.

sudo systemctl restart docker

참고

  • https://ingu627.github.io/tips/install_cuda_linux/
  • https://linuxhint.com/install-cuda-ubuntu-2004/#a3
  • https://m.blog.naver.com/sw4r/221744342510
  • https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker
  • https://linuxconfig.org/how-to-install-cuda-on-ubuntu-20-04-focal-fossa-linux

댓글남기기