NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

最新推荐文章于 2025-05-15 16:55:46 发布

原创最新推荐文章于 2025-05-15 16:55:46 发布 · 582 阅读

0 GEO检测

标签

#语言模型 #微调

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

NEFTUNE通过在训练期间向语言模型的嵌入向量添加噪声，显著改善了指令微调的效果。研究表明，这种方法在各种模型上都有所改进，包括LLaMA-2-7B在AlpacaEval上提升了35个百分点，以及对Evol Instruct、ShareGPT和OpenPlatypus的改进。尽管存在局限性，如依赖特定评估标准和有限的计算资源，但NEFTUNE强调了在LLM训练中正则化的重要性和未被充分利用的潜力。

本文是LLM系列文章，针对《NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING》的翻译。

摘要

我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%，而使用噪声嵌入时，这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进，使用ShareGPT8%的改进，OpenPlatypus改进了8%。即使是用RLHF进一步改进的强大模型，如LLaMA-2-Chat，也可以从NEFTune的额外训练中受益。

1 引言

2 NEFTUNE：噪声嵌入指令调整

3 实验设置

4 结果

5 分析

6 结论与局限性

NEFTune的成功表明了算法和正则化子在LLM训练中经常被忽视的重要性。与计算机视觉社区多年来一直在研究正则化和过拟合不同，LLM社区倾向于使用标准化的训练循环，这些训练循环是为优化器的稳定性而设计的，而不是泛化。在这种环境下，LLM研究人员已经将数据集和模型缩放作为主要的前进道路。考虑到NEFTune的一致增益，以及在小指令数据集上过度拟合的趋势，似乎在LLM设置中应该重新审视正则化。
我们的研究有几个局限性。我们采用AlpacaEval作为LLM指令遵循能力的核心衡量标准，该能力受单一评价（GPT-

了解本专栏