基于互对比学习的在线知识蒸馏用于视觉识别
计算机视觉与模式识别
2023-03-28 v2 人工智能
摘要
无教师的在线知识蒸馏(KD)旨在协作训练多个学生模型集合并相互蒸馏知识。尽管现有在线 KD 方法取得了令人满意的性能，它们通常聚焦于类概率作为核心知识类型，忽略了有价值的特征表示信息。我们提出一种用于在线 KD 的互对比学习(MCL)框架。MCL 的核心思想是以在线方式在一组网络之间执行对比分布的互交互与传递。我们的 MCL 能够聚合跨网络嵌入信息并最大化两个网络间互信息的下界。这使得每个网络能从其他网络学习额外的对比知识，从而获得更好的特征表示，进而提升视觉识别任务的性能。除最终层外，我们将 MCL 扩展到中间层，并采用由元优化训练的自适应层匹配机制。在图像分类及向视觉识别任务的迁移学习上的实验表明，分层 MCL 相比最先进的在线 KD 方法能带来一致的性能提升。该优越性表明分层 MCL 可引导网络生成更好的特征表示。我们的代码公开于 https://github.com/winycg/L-MCL。
引用
@article{arxiv.2207.11518,
title = {Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition},
author = {Chuanguang Yang and Zhulin An and Helong Zhou and Fuzhen Zhuang and Yongjun Xu and Qian Zhan},
journal= {arXiv preprint arXiv:2207.11518},
year = {2023}
}
备注
18 pages, accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI-2023)