基于全局与超列特征间跨上下文学习的自监督表示学习
计算机视觉与模式识别
2023-09-04 v2
摘要
尽管对比学习通过匹配同一实例的不同增强视图产生强大的表示，但它缺乏捕捉不同实例间相似性的能力。解决这一局限的一个流行方法是通过基于知识蒸馏来学习全局特征（全局池化之后）以捕获实例间关系，其中教师网络的全局特征用于引导学生网络的全局特征学习。受跨模态学习启发，我们扩展了这一仅从全局特征学习的现有框架，鼓励全局特征与中间层特征相互学习。这引出了我们的新颖自监督框架：全局与超列特征间的跨上下文学习（CGH），它强制低层与高层语义间实例关系的一致性。具体而言，我们堆叠中间特征图以构建超列表示，从而可分别使用两种上下文（超列与全局特征）度量实例关系，随后用一种上下文的关系引导另一种上下文的学习。这种跨上下文学习使模型能从两种上下文的差异中学习。在线性和分类及下游任务上的实验结果表明，我们的方法优于最先进的方法。
引用
@article{arxiv.2308.13392,
title = {Self-Supervised Representation Learning with Cross-Context Learning between Global and Hypercolumn Features},
author = {Zheng Gao and Chen Feng and Ioannis Patras},
journal= {arXiv preprint arXiv:2308.13392},
year = {2023}
}