尊重知识蒸馏中的迁移鸿沟
计算机视觉与模式识别
2022-10-25 v1 人工智能
机器学习
摘要
知识蒸馏（KD）本质上是一个将教师模型行为（如网络响应）迁移到学生模型的过程。网络响应作为额外监督来构建机器域，其使用从人类域收集的数据作为迁移集。传统KD方法持有一个潜在假设，即人类域和机器域中收集的数据均独立同分布（IID）。我们指出这一朴素假设不切实际，且两域之间确实存在迁移鸿沟。尽管该鸿沟为学生模型提供了来自机器域的外部知识，但不平衡的教师知识会使我们错误地估计在非IID迁移集上每个样本应从教师向学生迁移多少。为应对此挑战，我们提出逆概率加权蒸馏（IPWD），其估计训练样本属于机器域的倾向得分，并分配其逆量以补偿代表性不足的样本。在CIFAR-100和ImageNet上的实验证明了IPWD在两阶段蒸馏和单阶段自蒸馏上的有效性。
引用
@article{arxiv.2210.12787,
title = {Respecting Transfer Gap in Knowledge Distillation},
author = {Yulei Niu and Long Chen and Chang Zhou and Hanwang Zhang},
journal= {arXiv preprint arXiv:2210.12787},
year = {2022}
}
备注
Accepted by NeurIPS 2022