知识蒸馏真的有效吗？
机器学习
2021-12-07 v2 机器学习
摘要
知识蒸馏是一种流行的技术，用于训练小型学生网络以模仿更大的教师模型，例如网络集成。我们表明，虽然知识蒸馏可以改善学生的泛化能力，但它通常并不像通常所理解的那样工作：即使在学生有能力完美匹配教师的情况下，教师与学生预测分布之间往往仍存在令人惊讶的巨大差异。我们将优化中的困难确定为学生无法匹配教师的关键原因。我们还展示了用于蒸馏的数据集的细节在学生匹配教师的紧密程度上所起的作用——并且更紧密地匹配教师矛盾地并不总会导致更好的学生泛化。
引用
@article{arxiv.2106.05945,
title = {Does Knowledge Distillation Really Work?},
author = {Samuel Stanton and Pavel Izmailov and Polina Kirichenko and Alexander A. Alemi and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2106.05945},
year = {2021}
}
备注
NeurIPS 2021. Code available at https://github.com/samuelstanton/gnosis