通过邻域成分分析视角重审对比学习：一个集成框架
机器学习
2022-02-01 v2 计算机视觉与模式识别
摘要
作为自监督表示学习中的一项开创性工具，对比学习近年来获得了前所未有的关注。本质上，对比学习旨在利用正负样本对进行表示学习，这涉及到在特征空间中利用邻域信息。通过研究对比学习与邻域成分分析（NCA）之间的联系，我们为对比学习提供了一个新颖的随机最近邻视角，并随后提出了一系列性能优于现有方法的对比损失函数。在我们提出的框架下，我们展示了一种设计集成对比损失函数的新方法，该方法能够在下游任务上同时实现良好的准确性和鲁棒性。借助该集成框架，我们在标准准确率上实现了高达 6% 的提升，在鲁棒准确率上实现了高达 17% 的提升。
引用
@article{arxiv.2112.04468,
title = {Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework},
author = {Ching-Yun Ko and Jeet Mohapatra and Sijia Liu and Pin-Yu Chen and Luca Daniel and Lily Weng},
journal= {arXiv preprint arXiv:2112.04468},
year = {2022}
}