在对比实例判别中，所有负样本都被平等创建吗？
计算机视觉与模式识别
2020-10-27 v2 机器学习
图像与视频处理
摘要
自监督学习近来开始在计算机视觉任务上媲美监督学习。许多近期方法基于对比实例判别（CID），即训练网络识别同一实例的两个增强版本（查询与正样本），同时区分一组其他实例（负样本）。所得表征随后用于图像分类等下游任务。利用 MoCo v2（Chen 等，2020）的方法，我们按给定查询的难度划分负样本，并研究哪些难度范围对学习有用表征最为重要。我们发现少数负样本——最难的 5%——对下游任务达到近乎完全精度既是必要也是充分的。相反，最易的 95% 负样本既非必要也非充分。此外，最难的那 0.1% 负样本是非必要的，且有时有害。最后，我们研究了影响负样本难度的性质，发现难负样本与查询在语义上更相似，且某些负样本比随机预期更一致地偏易或偏难。综上，我们的结果表明负样本的重要性各异，CID 或可受益于更智能的负样本处理。
引用
@article{arxiv.2010.06682,
title = {Are all negatives created equal in contrastive instance discrimination?},
author = {Tiffany Tianhui Cai and Jonathan Frankle and David J. Schwab and Ari S. Morcos},
journal= {arXiv preprint arXiv:2010.06682},
year = {2020}
}
备注
Fixed author name error