问题描述： 之前用着好好的，今天运行nvidia-smi突然发现NVIDIA 驱动不兼容或加载异常。

但是我记得这台服务器的驱动版本应该是550，不知道为什么变成了570。这里显示报错：RM（Resource Manager）检测到 NVML（NVIDIA Management Library）版本不匹配。
 

可能原因：

• 驱动安装不完整或损坏；

• 系统中有多个版本的 NVIDIA 驱动混用；

• 内核加载的模块版本和用户空间库（如 libnvidia-ml.so）不一致；

• Docker 或 Conda 环境中使用了错误版本的 libnvidia-ml.so

1. 首先检查一下是否有多个本地 CUDA 安装

ls -l /usr/local/ | grep cuda

我这里是只有一个12.2的版本，没问题

2. 检查 LD_LIBRARY_PATH 是否引入了错误路径

​​​​​​​echo $LD_LIBRARY_PATH

里面有如 /usr/local/cuda/lib64 或 Anaconda 路径，那有可能优先加载了错误版本
3.看日志，是不是自动更新了驱动

cat /var/log/dpkg.log | grep nvidia

这里很奇怪了，这个时间点运行了安装570版本的指令。但是我完全没有印象。

解决方法1

直接重启服务器（重启解决99%的问题）

​​​​​​​sudo reboot

解决方法2

删除当前显卡驱动，重装（有点麻烦）
参考：Nvidia-smi 运行失败（Failed to initialize NVML: Driver/library version mismatch）_nvidia-smi failed-CSDN博客

解决方法3

前面提到安装570驱动的时间点我完全没有印象。永history翻了下历史记录，发现：当时运行了326 sudo apt-get install --fix-missing gpustat​​​​​​​

查看一下日志，确定了

less /var/log/apt/history.log

Start-Date: 2025-06-07 13:14:36 Commandline: apt-get install --fix-missing gpustat Requested-By: amax (1000) Install: gpustat:amd64 (0.6.0-1), python3-blessings:amd64 (1.7-1, automatic), python3-pynvml:amd64 (7.352.0-7, automatic), python3-psutil:amd64 (5.9.0-1build1, automatic), libnvidia-compute-570-server:amd64 (570.133.20-0ubuntu0.22.04.1, automatic) End-Date: 2025-06-07 13:14:40 Start-Date: 2025-06-07 13:18:49 Commandline: apt install htop Requested-By: amax (1000) Install: htop:amd64 (3.0.5-7build2) End-Date: 2025-06-07 13:18:49 Start-Date: 2025-06-07 13:19:17 Commandline: apt install nvtop Requested-By: amax (1000) Install: nvtop:amd64 (1.2.2-1) End-Date: 2025-06-07 13:19:17

这里当时只是打算安装一个gpustat（apt install），没注意到当时自动安装了570版本的组件，还报错了。

然后习惯性运行了sudo apt-get install --fix-missing gpustat 导致下载了570版本的组件。

问了下AI：

APT 检测到这个版本的 gpustat 依赖 python3-pynvml，而 python3-pynvml 又进一步依赖于 NVIDIA 的运行时库 libnvidia-compute-570-server，所以它就被“自动拉下来了”。
解决方法：

#移除错误版本的组件
sudo apt-get remove --purge libnvidia-compute-570-server python3-pynvml
#用正确的方式安装gpustat
pip uninstall gpustat -y
pip install gpustat pynvml

为了避免后续再出现类似的事情

可选择固定当前驱动版本（防止 APT 自动替换）

sudo apt-mark hold libnvidia-compute-550 libnvidia-common-550 nvidia-driver-550