在自监督学习中调制你的谱
机器学习
2024-01-23 v2 计算机视觉与模式识别
信号处理
摘要
白化损失为联合嵌入架构的自监督学习（SSL）中特征坍缩提供了理论保证。通常它采用硬白化方法，对嵌入进行变换并将损失施加于白化后的输出。在这项工作中，我们引入谱变换（ST），一个调制嵌入谱并寻求超越白化的、可避免维度坍缩的函数的框架。我们证明白化按定义是 ST 的一个特例，且我们的实证研究发现其他能够防止坍缩的 ST 实例。此外，我们提出一种名为带迹损失的迭代归一化（INTL）的新颖 ST 实例。理论分析确认 INTL 在防止坍缩及在优化中将嵌入谱调制至等特征值方面的有效性。我们在 ImageNet 分类和 COCO 目标检测上的实验展示了 INTL 学习更优表示的潜力。代码见 https://github.com/winci-ai/INTL。
引用
@article{arxiv.2305.16789,
title = {Modulate Your Spectrum in Self-Supervised Learning},
author = {Xi Weng and Yunhao Ni and Tengwei Song and Jie Luo and Rao Muhammad Anwer and Salman Khan and Fahad Shahbaz Khan and Lei Huang},
journal= {arXiv preprint arXiv:2305.16789},
year = {2024}
}
备注
Accepted at ICLR 2024. The code is available at https://github.com/winci-ai/intl