对抗对比自监督学习
计算机视觉与模式识别
2022-03-01 v1 人工智能
机器学习
神经与进化计算
摘要
近来，从海量无标签数据中学习，尤其是自监督学习，逐渐兴起并引起广泛关注。自监督学习后在少量有标签样本上进行监督微调，可显著提升标签效率，并优于使用全标注数据的标准监督训练。本工作中，我们提出一种基于在线难负样本对挖掘的新型自监督深度学习范式。具体而言，我们设计了一个学生-教师网络以生成数据的多视图用于自监督学习，并将难负样本对挖掘整合进训练中。随后我们推导了一种新的类三元组损失，同时考虑正样本对与挖掘出的难负样本对。在 ILSVRC-2012 上的大量实验证明了所提方法及其组件的有效性。
引用
@article{arxiv.2202.13072,
title = {Adversarial Contrastive Self-Supervised Learning},
author = {Wentao Zhu and Hang Shang and Tingxun Lv and Chao Liao and Sen Yang and Ji Liu},
journal= {arXiv preprint arXiv:2202.13072},
year = {2022}
}
备注
8 pages, 2 figures