面向自监督表示学习的白化方法
机器学习
2021-05-17 v5 计算机视觉与模式识别
机器学习
摘要
当前大多数自监督表示学习（SSL）方法基于对比损失与实例判别任务，其中同一图像实例的增强版本（“正样本”）与从其他图像提取的实例（“负样本”）进行对比。为使学习有效，需将许多负样本与正样本对进行比较，这在计算上代价高昂。本文中，我们提出SSL的一个不同方向与一种新的损失函数，其基于潜空间特征的白化。白化操作对批次样本具有“散开”效应，避免了所有样本表示坍缩至单点的退化解。我们的方案不需要非对称网络且概念简单。此外，由于无需负样本，我们可从同一图像实例提取多个正样本对。该方法及所有实验的源代码可在 https://github.com/htdt/self-supervised 获取。
引用
@article{arxiv.2007.06346,
title = {Whitening for Self-Supervised Representation Learning},
author = {Aleksandr Ermolov and Aliaksandr Siarohin and Enver Sangineto and Nicu Sebe},
journal= {arXiv preprint arXiv:2007.06346},
year = {2021}
}
备注
ICML 2021