1. vLLM-Ascend 环境部署全流程解析
第一次接触昇腾NPU部署大模型时,我被各种驱动、固件和工具链搞得晕头转向。后来发现只要按照正确顺序操作,整个过程其实非常顺畅。下面分享我总结的完整部署流程,帮你避开那些坑。
1.1 硬件与系统准备
在开始前需要确认你的昇腾910B设备状态正常。执行lspci | grep 'Processing accelerators'应该能看到类似"19e5:a300"的设备ID。我遇到过设备未正确识别的情况,通常是PCIe插槽接触不良导致的。
操作系统建议选择Ubuntu 22.04 LTS或openEuler 22.03,这两个版本对昇腾硬件的支持最完善。曾经在CentOS 7.9上折腾了半天驱动兼容性问题,最后发现是内核版本太旧。记得执行uname -m && cat /etc/os-release确认系统架构和版本。
1.2 驱动与固件安装
驱动安装最容易出问题的是用户组权限。很多教程没强调这点,导致后续操作频繁报权限错误。正确姿势是:
sudo groupadd HwHiAiUser
sudo useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash
sudo usermod -aG HwHiAiUser $USER
下载驱动包时要注意版本匹配。有次我用了不兼容的驱动版本,导致npu-smi info命令输出全是乱码。推荐从华为昇腾社区获取最新稳定版:
wget "https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Ascend%20HDK/Ascend%20HDK%2025.0.RC1.1/Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run"
chmod +x Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run
sudo ./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run --full --install-for-all
安装后务必执行npu-smi info验证,正常应该看到类似这样的输出:
+------------------------------------------------------------------------------------------------+
| npu-smi 25.0.rc1.1 Version: 25.0.rc1.1 |
+----------------------+---

77

被折叠的 条评论
为什么被折叠?



