[Ubuntu] CUDA nvidia-smi 명령어 mismatch 에러 발생 시

CUDA nvidia-smi Mismatch error

nvidia-smi 명령어 사용 시 nvidia-smi failed to initialize nvml: driver/library version mismatch 에러 발생

• 예상 원인

  • ubuntu에서 자동 update 적용 시, cuda version mismatch 문제가 발생

• solution

  1. lsmod | grep nvidia 로 nvidia 관련 사용 드라이버 리스트를 확인
  2. nvidia driver unload한다.
     ex )sudo rmmod nvidia_drm
  3. rmmod: ERROR: Module nvidia is in use 에러 발생 하는 경우,
     sudo lsof /dev/nvidia*로 nvidia 관련 프로세스 확인해서 kill 한다.
  4. lsmod | grep nvidia 명령 실행 시 아무것도 안뜨면 작업 완료
  5. nvidia-smi 정상적으로 동작하는지 확인
  • 다 안되는 경우
    위 방법으로 해봤는데 나는 Module nvidia is in use 에러가 발생했고, process kill 하니까 그냥 화면이 꺼졌다.
    재로그인해서 다시 시도해도 결국 반복..
    그래서 그냥 cuda 삭제하고 다시 설치해서 해결함.