2025_NIPS_Reinforcement Learning for Reasoning in Large Language Models with One Training Example

文章核心总结与翻译

一、主要内容

文章提出“单样本可验证奖励强化学习（1-shot RLVR）”，仅用1个训练样本就能激发大语言模型的数学推理能力，性能比肩数千样本的全量RLVR。通过在Qwen2.5-Math-1.5B等模型上验证，该方法能显著提升6个数学推理基准的平均性能，还发现了饱和后泛化、跨类别迁移、自我反思频率提升等独特现象，同时揭示了策略梯度损失的核心作用和熵损失对探索的促进价值。

二、创新点

1. 数据效率突破：证明RLVR训练数据集可缩减至1个样本，仍能实现与1.2k样本子集相当的性能，甚至2个样本可略微超越。
2. 新现象发现：首次提出“饱和后泛化”（训练精度饱和后测试性能仍持续提升），以及单样本训练实现跨类别推理、模型自我反思频率增加等现象。
3. 机制解析：明确策略梯度损失是性能提升的主要驱动力，区别于“grokking”现象；证实熵损失能促进探索，即使无结果奖励仅用熵损失也能带来性能提升。
4. 广泛适用性：在不同模型（Qwen2.5-Math系列、Llama3.2-3B-Instruct等）、不同RL算法（GRPO、PPO）上均验证了少样本RLVR的有效性。

三、关键部分翻译（Markdown格式）

Abstract

我们证明，使用单个训练样本的可验证奖励强化学习（1-shot RLVR）能有效激发大语言模型（LLMs）的数学推理能力。将RLVR应用于基础