从实用角度重审链式思维蒸馏中的能力差距
机器学习
2026-04-13 v1 人工智能
计算与语言
摘要
链式思维(CoT)蒸馏将推理行为从强大的教师模型转移到较小的学生模型，但 prior work报告存在能力差距：当教师-学生能力不匹配时，蒸馏可能失败。我们从实用角度重审能力差距，通过重新审视常用实验设置。值得注意的是，我们发现CoT蒸馏常常导致性能下降，这一问题在仅报告蒸馏后比较时被掩盖。因此，我们提出更真实的评估协议，发现能力差距效应并不始终主导于各种任务与设置中，尤其当候选教师在性能上差异显著时。我们的结果为选择CoT蒸馏中的教师-学生配对提供了实用指导。
引用
@article{arxiv.2604.08880,
title = {Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective},
author = {Tokio Kajitsuka and Ukyo Honda and Sho Takase},
journal= {arXiv preprint arXiv:2604.08880},
year = {2026}
}
备注
19 pages, 6 figures