关于自监督表征学习可区分性的研究
计算机视觉与模式识别
2025-08-05 v2
摘要
自监督学习 (SSL) 近期在 various 视觉任务中展现出显著的成功。然而在可区分性方面，SSL 仍不及监督学习 (SL)。本文识别出一个关键问题，即“拥挤问题”，即来自不同类的特征不够分离，且类内方差较大。相比之下，SL 确保了清晰的类别间分离。我们的分析表明，SSL 目标函数未能充分约束样本及其增广变换之间的关系，导致在复杂任务中的表现受限。我们进一步建立了理论框架，将 SSL 目标函数与交叉熵风险界联系起来，解释了如何通过降低类内方差和增加类别间分离来改进泛化性能。为此，我们提出了动态语义调整器 (Dynamic Semantic Adjuster, DSA)，一种可学习的调节器，用于增强特征聚合与分离，同时对异常值鲁棒。对 diverse benchmark 数据集上的全面实验验证了 DSA 能显著提升 SSL 性能，缩小与 SL 的性能差距。
引用
@article{arxiv.2407.13541,
title = {On the Discriminability of Self-Supervised Representation Learning},
author = {Zeen Song and Wenwen Qiang and Changwen Zheng and Fuchun Sun and Hui Xiong},
journal= {arXiv preprint arXiv:2407.13541},
year = {2025}
}