自监督学习中投影头稀疏性的探讨
机器学习
2023-07-20 v2 计算机视觉与模式识别
摘要
近年来，自监督学习（SSL）已成为从无标签数据中提取有价值表征的一种有前景的方法。一种成功的 SSL 方法是对比学习，其旨在使正例更接近而负例更远离。许多当前的对比学习方法利用参数化的投影头。通过经验分析与理论研究的结合，我们深入揭示了投影头的内部机制及其与维度坍缩现象之间的关系。我们的发现表明，投影头通过在投影子空间中执行对比损失来提升表征质量。因此，我们提出一个假设：在最小化一小批数据的对比损失时，仅需要特征的一个子集。理论分析进一步表明，稀疏投影头能够增强泛化能力，这促使我们引入 SparseHead——一种有效约束投影头稀疏性的正则化项，并且可与任何自监督学习（SSL）方法无缝集成。我们的实验结果验证了 SparseHead 的有效性，证明其能够提升现有对比方法的性能。
引用
@article{arxiv.2307.08913,
title = {Towards the Sparseness of Projection Head in Self-Supervised Learning},
author = {Zeen Song and Xingzhe Su and Jingyao Wang and Wenwen Qiang and Changwen Zheng and Fuchun Sun},
journal= {arXiv preprint arXiv:2307.08913},
year = {2023}
}
备注
9 pages,3 figures