用关系知识蒸馏增强对比学习
计算机视觉与模式识别
2021-12-09 v1
摘要
虽然自监督表示学习在大模型中已被证明是有效的，但在遵循相同解决方案的轻量级模型中，自监督方法与监督方法之间仍存在巨大差距。我们深入研究了这个问题，发现轻量级模型在简单执行实例级对比时，容易在语义空间中坍缩。为了解决这个问题，我们提出了一种基于关系知识蒸馏的关系级对比范式。我们引入一个异构教师模型来显式挖掘语义信息，并将一种新颖的关系知识迁移给学生模型（轻量级模型）。理论分析支持了我们对实例级对比的主要关切，并验证了我们关系级对比学习的有效性。大量的实验结果也表明，我们的方法在多个轻量级模型上取得了显著改进。特别是，在AlexNet上的线性评估将当前最优水平从44.7%明显提高到50.1%，这是首个接近监督学习50.5%的工作。代码将开源。
引用
@article{arxiv.2112.04174,
title = {Boosting Contrastive Learning with Relation Knowledge Distillation},
author = {Kai Zheng and Yuanjiang Wang and Ye Yuan},
journal= {arXiv preprint arXiv:2112.04174},
year = {2021}
}
备注
Accepted by AAAI-2022