vLLM-Ascend 环境部署与性能调优实战指南

1. vLLM-Ascend 环境部署全流程解析

第一次接触昇腾NPU部署大模型时,我被各种驱动、固件和工具链搞得晕头转向。后来发现只要按照正确顺序操作,整个过程其实非常顺畅。下面分享我总结的完整部署流程,帮你避开那些坑。

1.1 硬件与系统准备

在开始前需要确认你的昇腾910B设备状态正常。执行lspci | grep 'Processing accelerators'应该能看到类似"19e5:a300"的设备ID。我遇到过设备未正确识别的情况,通常是PCIe插槽接触不良导致的。

操作系统建议选择Ubuntu 22.04 LTS或openEuler 22.03,这两个版本对昇腾硬件的支持最完善。曾经在CentOS 7.9上折腾了半天驱动兼容性问题,最后发现是内核版本太旧。记得执行uname -m && cat /etc/os-release确认系统架构和版本。

1.2 驱动与固件安装

驱动安装最容易出问题的是用户组权限。很多教程没强调这点,导致后续操作频繁报权限错误。正确姿势是:

sudo groupadd HwHiAiUser
sudo useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash
sudo usermod -aG HwHiAiUser $USER

下载驱动包时要注意版本匹配。有次我用了不兼容的驱动版本,导致npu-smi info命令输出全是乱码。推荐从华为昇腾社区获取最新稳定版:

wget "https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Ascend%20HDK/Ascend%20HDK%2025.0.RC1.1/Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run"
chmod +x Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run
sudo ./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-x86_64.run --full --install-for-all

安装后务必执行npu-smi info验证,正常应该看到类似这样的输出:

+------------------------------------------------------------------------------------------------+
| npu-smi 25.0.rc1.1              Version: 25.0.rc1.1                                           |
+----------------------+---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值