重访标签平滑与知识蒸馏的兼容性：缺失了什么？
机器学习
2022-06-30 v1
摘要
本工作研究标签平滑（LS）与知识蒸馏（KD）之间的兼容性。针对该论题的当代发现持二元对立立场：Muller等人（2019）与Shen等人（2021b）。关键的是，尚无工作致力于理解并解决这些矛盾发现，使得根本问题——是否对教师网络进行平滑？——悬而未决。我们工作的主要贡献是发现、分析并验证了系统性扩散这一缺失概念，它是理解和解决这些矛盾发现的关键。该系统性扩散本质上削弱了从LS训练的教师蒸馏的收益，从而使得在高温下的KD失效。我们的发现得到大规模实验、分析以及案例研究的全面支持，包括图像分类、神经机器翻译和紧凑学生蒸馏任务，涵盖多个数据集与师生架构。基于我们的分析，我们建议实践者使用LS训练的教师并以低温传输来获得高性能学生。代码与模型见 https://keshik6.github.io/revisiting-ls-kd-compatibility/
引用
@article{arxiv.2206.14532,
title = {Revisiting Label Smoothing and Knowledge Distillation Compatibility: What was Missing?},
author = {Keshigeyan Chandrasegaran and Ngoc-Trung Tran and Yunqing Zhao and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2206.14532},
year = {2022}
}
备注
ICML 2022; 27 pages