Windows下用WSL+Docker搞定vLLM部署：避坑指南与GPU内存优化技巧

最新推荐文章于 2026-06-15 10:59:52 发布

原创

最新推荐文章于 2026-06-15 10:59:52 发布 · 735 阅读

标签

#vLLM #Windows #WSL #Docker

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

Windows下用WSL+Docker搞定vLLM部署：避坑指南与GPU内存优化技巧

最近在折腾大模型本地部署的朋友，估计没少为环境问题头疼。尤其是我们这些主力机是Windows的开发者，看着那些前沿的推理框架清一色要求Linux环境，心里总有点不是滋味。重装系统不现实，开个虚拟机又觉得笨重，性能损耗也让人心疼。好在，微软这些年把WSL（Windows Subsystem for Linux）打磨得越来越成熟，再配上Docker这个容器化利器，在Windows上搭建一个近乎原生的Linux开发环境，已经不再是遥不可及的梦想。今天，我们就来聊聊如何利用这套组合拳，在Windows上丝滑部署vLLM——这个号称能将大模型推理吞吐量提升数十倍的开源加速框架。

vLLM的核心魅力在于其创新的PagedAttention机制，它借鉴了操作系统内存分页管理的思路，高效管理注意力机制中的KV缓存，从而大幅减少GPU显存碎片，提升利用率。对于想要在本地快速体验或测试不同大模型性能的开发者、研究者，甚至是技术爱好者，这无疑是个利器。但它的官方部署指南大多面向纯Linux环境，这让Windows用户望而却步。别担心，跟着下面的步骤，我们将一步步绕过那些常见的坑，特别是令人抓狂的GPU内存爆满问题，让你在熟悉的Windows桌面上，也能畅快驾驭大模型推理。

1. 基石搭建：WSL2与Docker环境精调

在Windows上玩转Linux生态，WSL2是当前最优雅的解决方案。它不是一个简单的模拟器，而是一个完整的、与Windows深度集成的Linux内核。这意味着你能获得接近原生Linux的性能，特别是对GPU和文件I/O的支持，早已今非昔比。

1.1 WSL2安装与Ubuntu子系统配置

首先，确保你的Windows版本是较新的Windows 10或Windows 11，并且已经启用了虚拟化功能（在BIOS/UEFI设置中开启Intel VT-x或AMD-V）。安装过程其实非常简单。

打开PowerShell（管理员身份），执行以下命令来安装WSL2的核心组件并设置默认版本为WSL2：

wsl --install

这条命令会默认安装一个Ubuntu发行版。但如果你想更精细地控制，或者像我一样，不希望所有东西都堆在C盘，可以分步操作。

第一步，只安装WSL内核，不安装发行版：

wsl --install --no-distribution

安装完成后，需要将WSL的默认版本设置为2：

wsl --set-default-version 2

第二步，列出可用的Linux发行版并选择安装：

wsl --list --online

你会看到一个列表，比如Ubuntu-24.04。接下来就是关键的一步：为它指定一个安身之所。C盘空间宝贵，我们把它安装到其他盘符。

注意：以下操作涉及导出、导入，相当于给Ubuntu“搬家”。请确保有足够的磁盘空间，并仔细核对路径。

关闭所有WSL实例：
```
wsl --shutdown
```
导出已有的Ubuntu系统（如果你已经安装了）。假设你之前装的是Ubuntu-24.04，想把它迁移到D:\wsl\ubuntu目录：
```
wsl --export Ubuntu-24.04 D:\wsl\ubuntu\ubuntu_backup.tar
```
这个.tar文件是系统的完整快照。
注销旧的子系统：
```
wsl --unregister Ubuntu-24.04
```
在新的位置导入系统：
```
wsl --import Ubuntu-24.04 D:\wsl\ubuntu D:\wsl\ubuntu\ubuntu_backup.tar --version 2
```
这里的D:\wsl\ubuntu将成为新子系统的根文件系统所在目录。
设置默认用户。导入的系统默认是root用户，我们需要设置回普通用户。首先启动该系统：
```
wsl -d Ubuntu-24.04
```
然后在WSL终端内，执行：
```
# 将<你的用户名>替换为你想要的用户名，<UID>和<GID>通常设为1000
echo -e "[user]\ndefault=<你的用户名>" >> /etc/wsl.conf
```
退出WSL，在PowerShell中关闭并重启：
```
wsl --shutdown
wsl -d Ubuntu-24.04
```
现在你应该以指定用户身份登录了。