解决自监督表示学习的低效问题
计算机视觉与模式识别
2021-10-22 v3 人工智能
机器学习
摘要
自监督学习（尤其是对比学习）因其在无监督方式下学习判别性表示的巨大潜力而引起了极大关注。尽管已取得公认的成功，现有的对比学习方法存在学习效率极低的问题，例如，为达到可比的识别准确率，所需的训练轮次约为监督学习的十倍。在本文中，我们揭示了对比学习中两个矛盾的现象，称为欠聚类与过聚类问题，它们是学习效率的主要障碍。欠聚类是指当用于对比学习的负样本对不足以区分所有实际对象类别时，模型无法有效学习发现类间样本的不相似性。过聚类是指模型无法从过多的负样本对中有效学习特征，迫使模型将同一实际类别的样本过聚类到不同簇中。为同时克服这两个问题，我们提出了一种使用截断三元组损失的新型自监督学习框架。具体而言，我们采用倾向于最大化正样本对与负样本对之间相对距离的三元组损失来解决欠聚类问题；并通过从所有负样本中选择一个负样本代表来构建负样本对，以避免过聚类问题，这一点由伯努利分布模型保证。我们在多个大规模基准（如 ImageNet、SYSU-30k 和 COCO）上广泛评估了我们的框架。结果表明，我们的模型在学习效率等方面以明显优势优于最新的最先进方法。代码见：https://github.com/wanggrun/triplet 。
引用
@article{arxiv.2104.08760,
title = {Solving Inefficiency of Self-supervised Representation Learning},
author = {Guangrun Wang and Keze Wang and Guangcong Wang and Philip H. S. Torr and Liang Lin},
journal= {arXiv preprint arXiv:2104.08760},
year = {2021}
}
备注
ICCV 2021 paper, oral presentation