昔日一段技巧里，在围绕大模子推理才调增强的操办中，SFT 和 RL 是两类中枢后检会范式 —— 前者清楚不休快，能高效接管高质料推理数据；后者更具探索性，有望推动模子罢了复杂推理和散布外泛化。

但在本色检会中，这两种信号却难以灵验交融，现存责任大多仅停留在 "把两个 loss 混在一齐" 的层面。

为应付这一挑战，操办团队提议了DYPO（Dynamic Policy Optimization） 动态战略优化局面。

中枢想考在于：既然 SFT 和 RL 的学习信号统计性质自然不同，和谐优化要若何作念，才能既保留监督学习的清楚性，又不松手强化学习的探索才调？

△ 图 1：DYPO 的全体框架

如图 1，模子会先证据一组 rollout 的成果判断样本所处的学习阶段，再决定它应该走监督旅途、强化学习旅途，照旧暂时跳过。

SFT 和 RL 为什么很难信得过协同

要是把大模子后检会比作"教化生作念题"，SFT 和 RL 的特质相反便一目了然。

SFT更像敦合法接讲活动谜底。它的优点是学得快、过程稳、不休也更容易阻抑，但问题在于，学生很容易学成"会按套路作念题"，一朝题目稍许变形，就可能空平方化才调。

RL更像让学生我方反复尝试，再证据得分络续修正战略。它的优点是更有探索性，更可能逼着模子从"记着解法"走向"学会推理"，但污点不异彰着：检会过程中波动更大，奖励一朝稀疏，模子就很容易学偏，致使不清楚。

从表面层面看，这背后对应着典型的偏差—方差矛盾：

SFT：低方差，但高偏差。SFT 的梯度来自静态高质料数据，更新清楚、噪声小，却自然偏向拟合示范散布，压缩模子探索空间；

RL：低偏差，但高方差。RL 通过奖励动手试错，更接近 "灵验战略优化"，但受采样迅速性和奖励稀疏性影响，梯度方差高、检会易波动。

问题也正出在这里。好多和谐检会局面自然同期用了 SFT 和 RL，但默许扫数样本都值得用并吞种形势行止理。

但本色情况中，不不异本的学习信号存在显耀相反：有些问题模子还是会了，屡次 rollout 都能答对，这类样本连接检会，收益往往很有限；有些问题模子面前皆备不会，屡次 rollout 全部失败，这时凯旋作念 RL 每每也拿不到什么灵验奖励；

信得过最值得优化的，反而是那些"还是会少量，但还不清楚"的样本。它们既证明模子还是摸到了门槛，又保留了区分正确轨迹和无理轨迹的空间。

因此，这项责任想贬责的，并不是"要不要把 SFT 和 RL 放在一齐"，而是更进一步：不同学习阶段的样本，到底应该若何被优化，才能在清楚和探索之间找到更合理的均衡。

△ 图 2：SFT 与 RL 的偏差—方差矛盾

SFT 更稳，但偏差更大；RL 偏差更低，但检会波动彰着更强。

DYPO 若何同期处理偏差和方差问题

基于上述想考，博亚体育中国官方网站入口本文提议了Dynamic Policy Optimization ( DYPO )  。它的中枢想想并不是再堆一个更复杂的检会经过，而是先证据 rollout 成果判断样本所处的学习阶段，再去匹配最合适的优化旅途。

具体而言，DYPO 会让面前战略为每个问题生成一组 rollout，然后证据这些 rollout 的成败情况，把样本分别红三类：

Easy 样本：一组 rollout 全部得胜，证明模子已掌持这类问题，凯旋跳过以减少无效更新；

Hard 样本：一组 rollout 全部失败，证明模子空泛富足常识基础，凯旋作念 RL 难获清楚正向信号。对此领受多造就蒸馏（Multi-Teacher Distillation），引入多个 teacher 让 student 学习多种合理推理轨迹的共通部分，减少单一 teacher 的特定偏差，先树立可靠先验，再去说念后续探索；

Mid 样本：一组 rollout 有得胜也有失败，是最有价值的"学习前沿"。这类样本符合 RL 优化。但为贬责活动 RL 的高方差问题，团队在 GRPO 的基础上引入了Group Alignment Loss，也即是GAL，来对皆蚀本。

GAL 的中枢想路是运用并吞组 rollout 中的成败轨迹相反，显式将模子拉向正确轨迹、推离无理轨迹。这让 RL 更新不再仅依赖高噪声奖励信号，而是格外得到了一层更清楚的相对对皆管制。

换句话说，GAL 的作用并不是轻便"再加一个 loss "，而是在 RL 更新过程中充任一个动态的方差扼制项。

要是从表面上回来 DYPO 的联想逻辑，它其实是在分别处理 SFT 和 RL 的两个中枢弱势：

多造就蒸馏针对Hard 样本，缓解 SFT 的高偏差问题。多个 teacher 的组合可对消个体偏差，2026FIFA世界杯中国官网使全体监督偏差随 teacher 数目增多而着落；

GAL 针对Mid 样本，贬责 RL 的高方差问题。混筹备划的梯度方差严格小于纯 GRPO，且随模子区分轨迹才调的擢升，GAL 自己的方差还会进一步自然衰减。

由此可见，DYPO 并不是轻便把 SFT 和 RL 拼起来，而是在结构上把"高偏差监督"和"高方差强化学习"分别放到最符合的样本上处理。也正因为如斯，它更像是一种再行组织后检会过程的形势，而不单是是一个新的检会手段。

△ 图 3：GAL 的直不雅机制

如图 3，它运用并吞组 rollout 中还是出现的正负样本，把模子往正确轨迹处所拉近，同期把无理轨迹往外推开。

推行成果

操办团队在数学和逻辑推理场景开展推行，基础模子包括Qwen2.5-Math-7B 和 Qwen3-4B-Base，评测任务阴私 AIME 2024/2025、AMC、MATH-500、Minerva，以及更偏散布外泛化的 ARC-c 和 GPQA-Diamond。

对这类责任来说，分数自然首要，但要是只看最终成果，很容易把 DYPO 聚拢成"又一个作念得更高的检会手段"。真碰巧得看的，其实是它到底赢在什么地方。

在Qwen2.5-Math-7B上，和传统SFT → RL法例 pipeline 比较，DYPO：

五个复杂推理 benchmark 上的平中分从47.7擢升到52.5，对应4.8个点的擢升

在 OOD 任务上，平中分从48.3擢升到61.6，对应13.3个点的擢升

这一擢升并非依赖单一任务冲高，而是全体阐扬更清楚。尤其是在GPQA-Diamond这种更敬重迁徙推理才调的任务上，DYPO 取得了表中最佳的成果，这证明它学到的并不单是更濒临检会散布的模板。

△ 图 4：Qwen2.5-Math-7B 上的全体成果对比

如图高傲，DYPO 在复杂推理和散布外任务上都阐扬出较强的详尽上风。

在Qwen3-4B-Base上，访佛的趋势依然存在。DYPO：

在 ID 任务上的平中分达到66.9，彰着高于SFT → RL的56.1；

在 OOD 任务上，平中分达到68.5，也高于后者的 52.6。

这证明它的收益并不单依赖某一个特定 backbone，而更像来自这套动态分流机制自己。

此外，消融推行进一步考据了局面灵验性。

好多时候，一个局面看起来更强，惟恐是因为局面自己，也可能只是 teacher 更强、数据更好。

但在这项责任里，即便把第二个 teacher 换成比原造就 deepseek-R1 更弱的 Qwen3-8B 模子，DYPO 依然能把AIME 25从22.0擢升到27.8，把GPQA-Diamond从30.8擢升到39.4。

这意味着它的擢升并不单是来自"多喂了一些更强 teacher 的数据"，而是背面这套动态路由与低方差优化自己照实阐扬了作用。

除了最终成果，操办还考据了 DYPO 的检会清楚性。

作家分析了检会过程中离线数据占比、reward 和战略熵的变化。

一个很有风趣的风光是，DYPO 并不是一上来就把模子推向更强的探索，而是跟着才调擢升，渐渐缩短对监督信号的依赖，让检会自然从"更靠 teacher 扶着走"过渡到"更依赖战略我方探索"。

这个过程有点像一种自适合课程学习：先把基础稳住，再把探索空间冉冉放出来。

△ 图 5：检会动态分析

如图，跟着检会鞭策，DYPO 会渐渐减少对离线监督的依赖，同期保持相对健康的战略各样性。

再看梯度范数。

活动 GRPO 的梯度弧线会有比较彰着的剧烈震憾，而 DYPO 的弧线要平滑得多。这种相反看起来像是检会细节，但背后对应的其实是一个很本色的问题：要是梯度一直在大幅舞动，检会就更容易发散，也更难把学习率和优化战略设得积极。

DYPO 在这里阐扬出的清楚性，正好证明它对 RL 那部分高方差更新作念了灵验管制。

△ 图 6：梯度范数对比

如图 6， 和活动 GRPO 比较，DYPO 的更新轨迹更平滑，也更容易保持可控。

回来

DYPO 不是在证明注解 SFT 和 RL 不错一齐用，而是在回话它们到底应该若何一齐用。它提供的，是一种更像"检会组织形势"的想路。

过往操办已意志到，单纯依赖监督粗略单纯依赖强化学习，都不及以把大模子推理才调往前再推一大步。但中枢难点并非联想诡计函数，而是不同阶段、不不异本暴浮现来的学习信号自己就不一样。

DYPO 的中枢孝顺，是将优化逻辑前移：先判断样本学习阶段，再匹配优化旅途。这么一来，SFT 细腻把模子扶稳，RL 细腻让模子连接往外探索，而非无永逝地搀杂两种信号。

自然，这项责任也有其推行范围。

当今主要考据的是数学与逻辑推理场景，对通达式对话、创作类任务是否不异灵验，还需要进一步不雅察；同期，为了清楚推测样本难度，检会时每个 prompt 需要生成 8 条 rollout，这也意味着格外算力支出。

关于大模子推理才调增强来说，这也许不吵嘴常，但 DYPO 无疑提供了一个值得持续鞭策的新处所。

Arxiv Link: https://arxiv.org/pdf/2604.08926

Github Link:   https://github.com/Tocci-Zhu/DYPO

一键三连「点赞」「转发」「防备心」

接待在驳倒区留住你的主义！

—  完  —

咱们正在招聘别称眼疾手快、和蔼 AI 的学术裁剪实习生  � �

感好奇钦慕好奇钦慕的小伙伴接待和蔼 � �  了解确定

� � 点亮星标 � �

科技前沿进展逐日见2026世界杯官网入口