信任不确定的教师：通过校准不确定性蒸馏深层知识
机器学习
2026-05-19 v2 人工智能
摘要
知识蒸馏的核心在于传递教师所蕴含的丰富'dark knowledge'——揭示类别间关系及不确定性分布的细微概率模式。虽然这一思想已被广泛认可，但使用常规交叉熵训练的教师往往无法保留此类信号。它们的分布塌陷为尖锐、过于自信的峰值，这些峰值看似决断但实际上脆弱，仅提供硬标签或在表示层传递中潜移默化地造成问题。在高基数任务中，尤其 problematic，因为众多可能类别间的细微差异对引导紧凑学生至关重要。此外，这种脆弱的目标会降低分布迁移下的鲁棒性，使学生在实际场景中易受误校准的影响。为此，我们从分布角度重新审视蒸馏，提出校准不确定性蒸馏（Calibrated Uncertainty Distillation, CUD）框架，旨在更忠实地让深层知识可被访问。CUD并非盲目采纳教师的过度自信，而是鼓励教师在信息丰富的地方揭示不确定性，并引导学生学习校准后的目标而非锐化的确定性。通过直接塑造教师的预测分布后再进行传递，CUD在准确性与校准性之间取得平衡，使学生既能从易用案例中的自信信号获益，也能从难用案例中的结构化不确定性中学习。跨越多样基准测试，CUD生成的学生不仅更准确，且在分布迁移下更加校准，在模糊和长尾输入上更可靠。
引用
@article{arxiv.2602.12687,
title = {Trust the uncertain teacher: distilling dark knowledge via calibrated uncertainty},
author = {Jeonghyun Kim and SooKyung Kim and Richeng Xuan and Hyunsoo Cho},
journal= {arXiv preprint arXiv:2602.12687},
year = {2026}
}