在模型部署的时候经常需要tensorrt、triton、Tensorrt-LLM等Docker镜像，这些镜像文件在英伟达的nvcr.io中，要想拉取这些镜像文件必须先要登录NGC,NGC可以理解是NV的一个官方软件仓库，里面有好多编译好的软件、docker镜像等。我们要注册NGC并生成相应的api key，这个api key用于在docker上登录ngc并下载里面的镜像。

NGC账号登录的教程：NGC Catalog User Guide - NVIDIA Docs

API-key生成的教程：NGC Catalog User Guide - NVIDIA Docs

然后在docker中登录 nvcr.io

docker login nvcr.io
Username: $oauthtoken
Password: 你自己的API KEY

其中，Username为固定值$oauthtoken，不是你自己的NVIDIA账号名!!!

Password是上一步你自己生成的NGC api-key

比较坑的一点是，在api key生成之后，由于密码是加密的（含有****）,此时再去复制，还是加密后的密码，例如我这里复制之后就是“nvapi-**********qjw”，不是用这个加密后的api key去登录，而是要拿到未加密的，据我观察，似乎是新建api key的时候才会弹窗显示原始密码，因此新建的时候一定要先复制原始密码，然后保存起来。

然后点击左侧边栏的“containers”，在搜索栏搜索关键字

Data Science, Machine Learning, AI, HPC Containers | NVIDIA NGC

我这里以“triton”为例

按照下图操作

复制docker 镜像的tag，然后用docker命令拉去对应的镜像

如果需要在Docker中使用GPU，在安装好Docker之后，还需要安装 nvidia-container-toolkit，参考下面的官方教程：

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

如果 nvidia-container-toolkit 由于网络不通而下载不下来，可以采用离线安装的方式，下载地址

https://github.com/NVIDIA/libnvidia-container/tree/gh-pages/stable/deb/amd64