ReasonBridge：从闭源到开源语言模型的高效推理迁移
人工智能
2025-07-01 v1
摘要
大型语言模型（LLM）的最新进展揭示了闭源模型与开源模型之间存在显著的性能差距，尤其是在需要复杂推理和精确指令遵循的任务上。本文提出了 ReasonBridge，一种通过新颖的分层知识蒸馏框架，将推理能力从强大的闭源模型高效迁移至开源模型的方法。我们构建了一个仅包含 1,000 条精心筛选的推理轨迹的定制数据集 Reason1K，强调难度、多样性与质量。这些轨迹通过结构化多准则选择算法从多个领域中筛选而来。我们的迁移学习方法包含：(1) 一个同时捕获策略抽象与战术实现模式的分层蒸馏过程；(2) 一种仅需 0.3% 额外可训练参数的稀疏推理专用适配器架构；(3) 一种利用引导推理干预的测试时计算缩放机制。全面评估表明，ReasonBridge 在基准任务上将开源模型的推理能力提升了高达 23%，显著缩小了与闭源模型的差距。值得注意的是，增强后的 Qwen2.5-14B 在 MATH500 上优于 Claude-Sonnet3.5，并在竞赛级 AIME 问题上与之持平。我们的方法可有效地泛化至多种推理领域和模型架构，为指令遵循的推理增强建立了一种样本高效的方法。
引用
@article{arxiv.2506.22865,
title = {ReasonBridge: Efficient Reasoning Transfer from Closed to Open-Source Language Models},
author = {Ziqi Zhong and Xunzhu Tang},
journal= {arXiv preprint arXiv:2506.22865},
year = {2025}
}