最强教师未必是最佳教师：基于学生的答案选择
机器学习
2026-05-27 v1 人工智能
计算与语言
摘要
LLM 训练日益依赖于教师生成的监督信息，涵盖合成响应、推理痕迹及工具使用演示。当前做法常选择表现最佳的教师生成学生训练数据，隐含将教师的测试表现作为教学质量的代理指标。我们展示了这一假设可能失败的情形：即便多个教师对同一问题提供正确答案，最强教师的答案也未必是给定学生的最佳监督。为弥补这一差距，我们提出了基于学生学习成本的答案采样框架 (SCAS)，该框架依据其估计的学生中心学习成本，从经验证的教师生成答案中进行选择。我们受令牌级梯度分解启发，推导出此成本的高效单向代理，并用于指导训练中的答案选择。跨 30 位教师模型、6 个学生基础模型及 8 项任务的实验表明，SCAS 均能一致性地提升学生表现，表明有效的蒸馏应优先选择与当前学生匹配的监督信息，而非仅依赖教师强度。
引用
@article{arxiv.2605.26872,
title = {The Strongest Teacher Is Not Always the Best Teacher: Student-Centric Answer Selection},
author = {Zhengyu Hu and Zheyuan Xiao and Linxin Song and Fengqing Jiang and Yutai Li and Zhengyu Chen and Zhihan Xiong and Yue Liu and Junhao Lin and Yao Su and Lijie Hu and Kaize Ding and Xiao Teng and Radha Poovendran},
journal= {arXiv preprint arXiv:2605.26872},
year = {2026}
}