启用长路径支持(需要管理员权限)

Set-ItemProperty -Path “HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem” -Name “LongPathsEnabled” -Value 1 -Type DWord

创建不包含非法字符的临时目录

KaTeX parse error: Expected group after '_' at position 56: …) + "vllm_build_̲(Get-Date -Format ‘yyyyMMddHHmmss’)"
New-Item -ItemType Directory -Path $tempDir -Force | Out-Null

设置环境变量指向临时目录

$env:TEMP = $tempDir
$env:TMP = $tempDir

安装必要的编译依赖

python -m pip install -U setuptools wheel ninja

从源代码安装vllm(需要预先安装CUDA工具链)

git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e . --config-settings build-dir=$tempDir

Logo

分享最新的 NVIDIA AI Software 资源以及活动/会议信息,精选收录AI相关技术内容,欢迎大家加入社区并参与讨论。

更多推荐