实例判别自监督表示学习中负样本的理解
机器学习
2022-01-17 v5 机器学习
摘要
实例判别自监督表示学习因其无监督特性以及为下游任务提供信息丰富的特征表示而受到关注。在实践中,它通常使用比有监督类别数量更多的负样本。然而,现有分析中存在不一致性:理论上大量负样本会降低下游有监督任务的分类性能,而经验上它们却提升了性能。我们提供了一个新颖的框架,利用优惠券收集问题来分析这一关于负样本的经验结果。我们的界可以通过增加负样本数量,将下游任务的有监督损失隐式地纳入自监督损失中。我们在真实世界基准数据集上确认了所提分析成立。
引用
@article{arxiv.2102.06866,
title = {Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning},
author = {Kento Nozawa and Issei Sato},
journal= {arXiv preprint arXiv:2102.06866},
year = {2022}
}
备注
NeurIPS 2021. 26 pages, 6 figures, and 6 tables