BRIDGE：通过中间蒸馏与引导示例实现预算感知推理
机器学习
2025-12-24 v1
摘要
从大型专有模型（如 GPT-4）蒸馈到小型可部署模型（参数不足 10 亿）面临关键的容量-预算陷阱：教师与学生之间约 1000 倍的容量差异阻碍了有效的直接转移，而 API 成本又禁止大规模数据收集。我们提出 BRIDGE（Budget-Aware Reasoning via Intermediate Distillation），一个两阶段框架，通过战略性的中介和预算不对称来解决这些限制。在阶段 1 中，一个中等规模的教师助理（TA；如约 7B 参数）在严格限制的数据子集上学习（如仅 3-5%），该子集通过仅使用本地 TA 推理的零 API 成本管道筛选，平衡熵势难度和语义多样性。在阶段 2 中，我们利用这种不对称——教师查询成本高昂，而 TA 推理免费——来放大监督：精炼后的 TA 为完整数据集生成合成推理路径，以训练小型学生。关键的是，我们对小型学生应用指令调优课程，以在转移推理前建立行为对齐。我们的理论分析表明，当数据充足时，BRIDGE 的直接蒸馈具有更紧致的泛化界限。跨医疗、法律和金融基准进行实验，显示出一致的改进：BRIDGE 实现了 28-41% 的学生性能提升，缩小了与专有教师之间的能力差距 12-16%，同时使用 10 倍更少的教师查询。值得注意的是，BRIDGE 逆转了传统的成本-性能边界，虽仅使用 5% 的资源，却超越了使用 100% 预算的直接蒸馈基线。
引用
@article{arxiv.2512.20403,
title = {BRIDGE: Budget-aware Reasoning via Intermediate Distillation with Guided Examples},
author = {Xuan-An Le and Minh-Nam Tran and Son Nguyen},
journal= {arXiv preprint arXiv:2512.20403},
year = {2025}
}