清华团队提出ActionOPD：蒸馏决策，而非Token

语言模型越来越多地以智能体形式运行：它们与用户沟通、维持对话状态，并借助外部工具执行任务。在这个过程中，智能体每一步的抉择都会左右后续的观察结果以及自身所处的状态。将能力强大但调用成本高昂的先进智能体知识迁移到小型模型，需要解决两个核心问题：教师模型应当在哪些状态下指导学生模型？双方的行为又应在何种粒度上达成一致？

现有的知识迁移方法对此采取了不同策略。离线蒸馏通过拟合教师模型生成的序列来提供基于词元的监督，但容易遭遇教师模型与学生模型状态分布不一致的问题。基于词元的同策略蒸馏通过监督学生模型自身生成的序列来缓解这一难题，然而通常需要教师模型提供词元概率，并要求双方使用兼容的分词器。这两种方法都在词元层面施加监督，未能显式对齐动作的语义。

针对这些挑战，清华大学研究团队提出了ActionOPD，一种基于动作的同策略蒸馏方法，其核心是将语义动作作为监督单元：在学生模型遇到的状态下，分别采样教师模型和学生模型的输出，然后根据学生模型动作与教师模型动作在语义上的一致程度计算奖励，通过策略优化来对齐双方的动作级行为。

该方法仅需访问黑盒教师模型的生成接口，无需获取其词元概率，也不要求师生模型共享模型家族或分词器。在四个未参与训练的智能体基准测试上，Qwen3-4B 和 Qwen3-8B 学生模型经过 ActionOPD 训练后，平均性能提升了3.3-6.9 个百分点。在 τ²-bench 上，它与离线蒸馏和基于词元的 OPD 相比具有竞争力。这些结果表明，ActionOPD 是一种潜力巨大的智能体知识迁移方法。

研究方法

ActionOPD 的优化目标是，在学生模型训练过程中遇到的状态上，最大化教师模型动作的期望似然。这里的动作似然并非学生模型复现某条教师模型输出序列的概率，而是所有在语义上与该教师模型动作一致的学生模型输出所对应的概率质量之和。

基于这一目标，研究团队推导出 REINFORCE 形式的策略梯度，将学生模型动作与教师模型动作的语义一致性作为奖励信号。监督发生在动作层面，而策略优化仍作用于学生模型自身生成的推理及动作词元，无需将教师模型生成的推理过程作为模仿目标。

具体来说，在学生模型遇到的每个状态下，ActionOPD 从教师模型采样3 个回复，构成教师模型样本集；同时从当前学生模型策略采样4 个候选回复。教师模型与学生模型通过各自的原生提示接收相同的公开上下文和工具信息，再由语义匹配器比较候选回复所对应的动作。

语义匹配器只比较动作内容，不比较推理文本，具体分两条路径。对于工具调用，工具名与规范化后的参数做程序化比对，剩余的参数差异交给一个冻结的大语言模型判断。对于面向用户的交流回复，规范化后完全一致的直接通过，其余由大语言模型比较意图与事实内容。动作的语义在匹配层面定义，教师模型与学生模型也就不需要在词法或格式上对齐。

奖励结构上，首个匹配获得 1 分，此后每个额外匹配再加 0.25 分；动作合法但未匹配得 0 分，无效动作记负 1 分。论文举例：教师模型三个样本为 A、A、B 时，匹配 A 的回复得 1.25 分，匹配 B 的回复得 1 分。同一状态采样的 4 个候选全部与同一个教师模型样本集比对打分，**环境仅执行奖励最高的候选回复所对应的动作，但保留的候选组中所有回复都参与策略优化。**论文将这一过程称为状态组（State-group）Rollout，通过反复执行高奖励动作，形成教师模型引导的状态访问分布。

策略优化采用组相对优势（Group-relative Advantages）与 PPO 风格的裁剪代理目标（Clipped Surrogate Objective），组内平均奖励充当局部基线。频率加成在这里发挥作用：当整组候选都匹配了教师模型动作时，不同的匹配次数仍能产生非零的优势，从而区分出更贴近教师模型的回复。

实验结果与局限性

训练数据来自 AWM 与 EnvScaler 的精选任务，共 6697 个，覆盖 843 个环境。实验覆盖四种配置：Qwen3-4B 与 Qwen3-8B 学生模型分别配合 Qwen3.7-Flash 与 DeepSeek-V4-Flash 教师模型，各训练 100 步。评测在四个训练未涉及的基准上进行，包括 BFCL Multi-turn、ToolSandbox、AppWorld 与 τ²-bench，解码采用贪心策略，且不借助教师模型引导的动作选择。

实验结果显示，四组配置的跨基准平均分均有所提升，增幅为3.3-6.9 个百分点。其中，Qwen3-4B 在 DeepSeek-V4-Flash 教师模型指导下，平均分由 30.8 提升至 37.7；Qwen3-8B 在相同教师模型指导下，由 35.6 提升至 40.0。

在相同训练步数及任务启动预算下，Qwen3-8B 的最终平均分高于 Qwen3-4B。与此同时，在两个学生模型规模下，DeepSeek-V4-Flash 均比 Qwen3.7-Flash 带来更高的学生模型平均分。DeepSeek 教师模型与 Qwen 学生模型的组合也验证了跨模型家族进行动作级知识迁移的可行性。

研究团队进一步在 τ²-bench 上，将 ActionOPD 与离线蒸馏（KD）、基于词元的 OPD 进行对比。其中 KD 为离线蒸馏基线：教师模型对每个任务起点独立生成四条完整轨迹，仅将成功轨迹用于监督微调，损失覆盖教师模型的推理与动作词元。此处的 KD 指序列级输出模仿（Kim & Rush, 2016），而非匹配教师模型输出分布的经典知识蒸馏。该实验使用 Qwen3-4B 作为学生模型、Qwen3-32B 作为教师模型，并采用相同的任务启动预算。

在测试集上，ActionOPD 的平均单次成功率（pass¹）达到40.0%，高于 KD 的 37.5% 和 OPD 的 39.6%；但其四次全部成功率（pass⁴）为14.2%，低于 KD 的 19.2% 和 OPD 的 17.5%。

这表明 ActionOPD 并未在所有指标上取得最优结果。论文将其定位为一种具有竞争力、且教师模型接口更灵活的知识迁移方法，而非全面优于现有知识迁移方法的方案。

消融实验进一步验证了各组件的作用。在 τ²-bench 测试集上，ActionOPD 的平均单次成功率为 40.0%。将语义训练奖励替换为动作有效性奖励后，该指标降至 30.8%；移除频率加成后降至 36.9%；保留原有奖励机制、但随机选择执行动作后降至 37.5%。

此外，研究团队探索了Self-ActionOPD：教师模型与学生模型共享同一 Qwen3-4B 模型的当前权重，但教师模型额外获得动作指导、私有用户目标与约束、参考动作和目标结果等特权信息。经过 50 步训练，学生模型在仅使用公开上下文进行测试时，平均 pass¹ 和 pass⁴ 分别较基础模型提升4.8 和 2.5 个百分点。

尽管取得上述结果，但这项研究依然存在以下三项局限：

**语义一致不等于决策正确。**教师模型的错误或次优决策同样可能成为学生模型的学习目标。
**语义匹配可能产生误判。**大语言模型对交流回复及工具参数差异的判断可能出现假阳性或假阴性，导致奖励分配错误。
**固定采样数量可能限制动作覆盖率。**当合理决策较为分散时，固定大小的教师模型与学生模型样本集可能包含较少语义匹配的动作，长程交互中尤其可能出现这一情况。增加教师模型采样数量 K 和学生模型采样数量 N 可能改善覆盖率，但也会增加生成与匹配成本，相关收益仍有待验证。

研究团队表示，ActionOPD 将智能体知识迁移的监督粒度从词元提升至语义动作，通过语义匹配在学生模型自身访问的状态上提供监督，仅需教师模型的生成接口，无需获取词元概率。实验结果表明，该方法能够提升学生模型在未参与训练的智能体基准上的表现，并支持跨模型家族知识迁移。此外，Self-ActionOPD 展示了利用特权上下文进行同模型动作级知识迁移的可行性，为智能体自我改进提供了一条潜在路径。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。