基于失效轨迹的弱到强泛化：从树结构方法引导强模型获取最优策略
机器学习
2026-03-10 v3
摘要
弱到强泛化（W2SG）是一种通过弱模型的监督来发掘强模型完整能力的新趋势。虽然现有的W2SG研究聚焦于二分类等简单任务，但本文将该范式扩展到复杂的交互式决策环境。具体而言，我们使用弱模型生成的中间动作轨迹对强模型进行微调。受人类学习过程的启发，我们提出不仅要学习成功经验，还要学习失败经验，以便强模型能够从弱模型累积的失败轨迹中学习。为有效且高效地发掘强代理人的潜能，我们进一步构建“轨迹树”——一种层次化表示，组织弱模型生成的动作轨迹，并结合蒙特卡洛树搜索（MCTS）以优化强模型。通过理论分析，我们为该方法在提升W2SG性能方面的有效性提供了形式保证。我们的实证评估表明，在多样化任务域中，该方法显著提升了推理和决策能力，验证了我们方法框架的可扩展性与鲁健性。
引用
@article{arxiv.2507.18858,
title = {Weak-to-Strong Generalization with Failure Trajectories: A Tree-based Approach to Elicit Optimal Policy in Strong Models},
author = {Ruimeng Ye and Zihan Wang and Yang Xiao and Zinan Ling and Manling Li and Bo Hui},
journal= {arXiv preprint arXiv:2507.18858},
year = {2026}
}