AdaSwitch：通过自适应切换平衡知识蒸馏中的探索与引导
计算与语言
2026-03-20 v3 人工智能
摘要
小型语言模型 (SLM) 对具有严格延迟和计算约束的应用至关重要，但实现高性能仍具有挑战。知识蒸馏 (KD) 可从大型教师模型传递能力，但现有方法面临困境：离策蒸馏提供高质量监督但受限于暴露偏差 (训练推理不匹配)，而在策蒸馈确保一致性但受限于学生生成输出的低质量。为此，我们提出 AdaSwitch，一种通过自适应切换机制动态组合在策和离策生成的新方法。AdaSwitch 允许学生在自身能力范围内探索其预测，并在偏离上下文感知阈值时选择性地整合教师指导。该范式在保证生成一致性的同时确保高质量监督。三个数据集上的实验表明，AdaSwitch 在准确率和推理能力方面 consistently 提升，同时具有适度的开销。
引用
@article{arxiv.2510.07842,
title = {AdaSwitch: Balancing Exploration and Guidance in Knowledge Distillation via Adaptive Switching},
author = {Jingyu Peng and Maolin Wang and Hengyi Cai and Yuchen Li and Kai Zhang and Shuaiqiang Wang and Dawei Yin and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2510.07842},
year = {2026}
}