LLM 推理蒸馏中的句子来源追溯
计算与语言
2026-02-24 v2
摘要
推理蒸馏正受到日益关注。它通常利用大型教师模型生成推理路径，然后用于微调学生模型，使其在训练上下文中模拟教师的行为。然而，之前的方法缺乏对蒸馏模型能力来源的详细分析。仍不清楚学生模型在新测试时上下文中是否能保持与教师一致的行为，或是否会退化回其原始输出模式，这引发了对蒸馏模型泛化性的疑虑。为分析此问题，我们引入一个跨模型推理蒸馏来源追踪框架。对于每个由蒸馏模型产生的动作（例如一个句子），我们获取教师、原始学生和蒸馏模型在相同上下文下的预测概率。通过比较这些概率，我们将每个动作分类为不同类别。通过系统性地 disentangle 每个动作的来源，我们实验表明，在测试时上下文中，蒸馏模型确实可以生成源自教师的动作，这与蒸馏模型上观察到的性能表现相关，并可能解释了这些表现。基于这一分析，我们进一步提出了一种教师引导的数据选择方法。不同于依赖启发式的方法，本方法直接比较教师-学生在训练数据上的差异，提供了原则性的选择准则。我们在多个代表性教师模型和多样化学生模型上验证了方法的有效性。结果凸显了来源追踪框架的实用性，并彰显了其在推理蒸馏中的前景。我们希望与社区共享推理蒸馏来源追踪框架及其对推理蒸馏的见解。
引用
@article{arxiv.2512.20908,
title = {Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation},
author = {Kaiyuan Liu and Shaotian Yan and Rui Miao and Bing Wang and Chen Shen and Jun Zhang and Jieping Ye},
journal= {arXiv preprint arXiv:2512.20908},
year = {2026}
}