面向无监督视觉表示学习的时间知识一致性
计算机视觉与模式识别
2021-08-25 v1
摘要
实例判别范式已成为无监督学习的主导方法。它通常采用教师-学生框架，其中教师提供嵌入知识作为学生的监督信号。学生通过强制实例与教师视图之间的空间一致性来学习有意义的表示。然而，在不同训练阶段，教师对同一实例的输出可能剧烈变化，引入意外噪声，并因目标不一致导致灾难性遗忘。本文首先将实例时间一致性融入当前实例判别范式，并提出一种新颖且强大的算法——时间知识一致性（TKC）。具体而言，我们的TKC动态集成时间教师的知识，并根据其对学习实例时间一致性的重要性自适应选择有用信息。实验结果表明，TKC在ResNet和AlexNet上通过线性评估协议能学习到更好的视觉表示，并能良好迁移到下游任务。所有实验均表明我们方法的有效性和泛化性。
引用
@article{arxiv.2108.10668,
title = {Temporal Knowledge Consistency for Unsupervised Visual Representation Learning},
author = {Weixin Feng and Yuanjiang Wang and Lihua Ma and Ye Yuan and Chi Zhang},
journal= {arXiv preprint arXiv:2108.10668},
year = {2021}
}
备注
To appear in ICCV 2021