自监督学习中白化损失的研究
计算机视觉与模式识别
2022-10-10 v1 机器学习
摘要
自监督学习（SSL）中一个理想目标是避免特征坍缩。白化损失在不同视图的嵌入被白化的条件下，通过最小化正样本对嵌入间的距离来保证避免坍缩。本文中，我们提出一个带信息指示器的框架来分析白化损失，这为揭示若干有趣现象并提供联系其他 SSL 方法的支点提供了线索。我们揭示基于批白化（BW）的方法并未对嵌入施加白化约束，而仅要求嵌入满秩。该满秩约束也足以避免维度坍缩。基于我们的分析，我们提出随机分组划分的通道白化（CW-RGP），其利用了基于 BW 的方法在防止坍缩上的优势并避免其需要大批量大小的劣势。在 ImageNet 分类与 COCO 目标检测上的实验结果表明，所提 CW-RGP 具备学习良好表征的 promising 潜力。代码见 https://github.com/winci-ai/CW-RGP。
引用
@article{arxiv.2210.03586,
title = {An Investigation into Whitening Loss for Self-supervised Learning},
author = {Xi Weng and Lei Huang and Lei Zhao and Rao Muhammad Anwer and Salman Khan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2210.03586},
year = {2022}
}
备注
Accepted at NeurIPS 2022. The Code is available at: https://github.com/winci-ai/CW-RGP