用于在线知识蒸馏的多视图对比学习
计算机视觉与模式识别
2021-04-13 v3 机器学习
摘要
以往的在线知识蒸馏（OKD）通常进行概率分布的相互交换，却忽略了有用的表征知识。因此我们提出用于OKD的多视图对比学习（MCL），以隐式地捕捉由多个对等网络编码的特征嵌入之间的相关性，这些网络为理解输入数据实例提供了多种视图。得益于MCL，我们能够比以往的OKD方法学习到更具判别力的分类表示空间。在图像分类上的实验结果表明，我们的MCL-OKD在不增加额外推理成本的情况下，大幅优于其他最先进的OKD方法。代码见 https://github.com/winycg/MCL-OKD。
引用
@article{arxiv.2006.04093,
title = {Multi-view Contrastive Learning for Online Knowledge Distillation},
author = {Chuanguang Yang and Zhulin An and Yongjun Xu},
journal= {arXiv preprint arXiv:2006.04093},
year = {2021}
}