Qwen2大模型微调入门实战（附完整代码）（非常详细）零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2025-08-19 18:49:14 发布

原创

最新推荐文章于 2025-08-19 18:49:14 发布 · 3k 阅读

标签

#开发语言

Qwen2(https://modelscope.cn/models/qwen/Qwen2-1.5B-Instruct/summary)是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。

以Qwen2作为基座大模型，通过指令微调的方式做高精度文本分类，是学习LLM微调的入门任务。

在本文中，我们会使用 Qwen2-1.5b-Instruct(https://modelscope.cn/models/qwen/Qwen2-1.5B-Instruct/summary) 模型在复旦中文新闻 (https://modelscope.cn/datasets/huangjintao/zh_cls_fudan-news/summary)数据集上做指令微调训练，同时使用SwanLab监控训练过程、评估模型效果。

显存要求不高，10GB左右就可以跑。

代码： 完整代码直接看本文第5节或 Github(https://github.com/Zeyi-Lin/LLM-Finetune)，Jupyter Notebook(https://github.com/Zeyi-Lin/LLM-Finetune/blob/main/train_qwen2.ipynb)
实验日志过程： Qwen2-1.5B-Fintune - SwanLab(https://swanlab.cn/@ZeyiLin/Qwen2-fintune/runs/cfg5f8dzkp6vouxzaxlx6/chart)
模型： Modelscope(https://modelscope.cn/models/qwen/Qwen2-1.5B-Instruct/summary)
数据集： zh_cls_fudan_news(https://modelscope.cn/datasets/huangjintao/zh_cls_fudan-news/summary)
SwanLab： https://swanlab.cn(https://swanlab.cn/)

本教程参考了焦躁的冷味姜汁ttb的这篇文章(https://zhuanlan.zhihu.com/p/701370317)。

知识点：什么是指令微调？

大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。

指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。

https://zhuanlan.zhihu.com/p/695378820

在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的文本预测任务。所以这类任务的应用场景覆盖了以往NLP模型的场景，甚至很多团队拿它来标注互联网数据。

下面是实战正片：

1.环境安装

本案例基于Python>=3.8，请在您的计算机上安装好Python；

另外，您的计算机上至少要有一张英伟达显卡（显存要求并不高，大概10GB左右就可以跑）。

我们需要安装以下这几个Python库，在这之前，请确保你的环境内已安装了pytorch以及CUDA：

swanlab
modelscope
transformers
datasets
peft
accelerate
pandas

一键安装命令：

pip install swanlab modelscope transformers datasets peft pandas accelerate

本案例测试于modelscope1.14.0、transformers4.41.2、datasets2.18.0、peft0.11.1、accelerate0.30.1、swanlab0.3.9

2.准备数据集

本案例使用的是zh_cls_fudan-news(https://modelscope.cn/datasets/huangjintao/zh_cls_fudan-news/summary)数据集，该数据集主要被用于训练文本分类模型。

该数据集由几千条数据组成，每条数据包含text、category、output三列：

text 是训练语料，内容是书籍或新闻的文本内容；
category 是text的多个备选类型组成的列表；
output 则是text唯一真实的类型。

将三者组合成数据集的例子如下：

"""``[PROMPT]``Text: 第四届全国大企业足球赛复赛结束新华社郑州５月３日电（实习生田兆运）上海大隆机器厂队昨天在洛阳进行的第四届牡丹杯全国大企业足球赛复赛中，以５：４力克成都冶金实验厂队，进入前四名。沪蓉之战，双方势均力敌，９０分钟不分胜负。最后，双方互射点球，沪队才以一球优势取胜。复赛的其它３场比赛，青海山川机床铸造厂队３：０击败东道主洛阳矿山机器厂队，青岛铸造机械厂队３：１战胜石家庄第一印染厂队，武汉肉联厂队１：０险胜天津市第二冶金机械厂队。在今天进行的决定九至十二名的两场比赛中，包钢无缝钢管厂队和河南平顶山矿务局一矿队分别击败河南平顶山锦纶帘子布厂队和江苏盐城无线电总厂队。４日将进行两场半决赛，由青海山川机床铸造厂队和青岛铸造机械厂队分别与武汉肉联厂队和上海大隆机器厂队交锋。本届比赛将于６日结束。（完）``Category: Sports, Politics``Output:``   ``[OUTPUT]``Sports``"""

我们的训练任务，便是希望微调后的大模型能够根据Text和Category组成的提示词（Prompt），预测出正确的Output。

我们将数据集下载到本地目录下。下载方式是前往zh_cls_fudan-news - 魔搭社区(https://modelscope.cn/datasets/huangjintao/zh_cls_fudan-news/files)，将train.jsonl和test.jsonl下载到本地根目录下即可：

3. 加载模型

这里我们使用modelscope下载Qwen2-1.5B-Instruct模型（modelscope在国内，所以下载不用担心速度和稳定性问题），然后把它加载到Transformers中进行训练：

from modelscope import snapshot_download, AutoTokenizer``from transformers import AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq``   ``# 在modelscope上下载Qwen模型到本地目录下``model_dir = snapshot_download("qwen/Qwen2-1.5B-Instruct", cache_dir="./", revision="master")``   ``# Transformers加载模型权重``tokenizer = AutoTokenizer.from_pretrained("./qwen/Qwen2-1___5B-Instruct/", use_fast=False, trust_remote_code=True)``model = AutoModelForCausalLM.from_pretrained("./qwen/Qwen2-1___5B-Instruct/", device_map="auto", torch_dtype=torch.bfloat16)``

4. 配置训练可视化工具

我们使用SwanLab来监控整个训练过程，并评估最终的模型效果。

这里直接使用SwanLab和Transformers的集成来实现，更多用法可以参考官方文档(https://docs.swanlab.cn/zh/guide_cloud/integration/integration-huggingface-transformers.html)：

from swanlab.integration.huggingface import SwanLabCallback``from transformers import Trainer``   ``swanlab_callback = SwanLabCallback(...)``   ``trainer = Trainer(`    `...`    `callbacks=[swanlab_callback],``)

如果你是第一次使用SwanLab，那么还需要去https://swanlab.cn上注册一个账号，在用户设置页面复制你的API Key，然后在训练开始时粘贴进去即可：

|--- train.py``|--- train.jsonl``|--- test.jsonl

train.py:

import json``import pandas as pd``import torch``from datasets import Data

最低0.47元/天解锁文章