WERank: 通过权重正则化防止自监督学习中的秩退化
机器学习
2024-02-16 v1
摘要
自监督学习（SSL）中限制表示质量的常见现象是维度坍缩（也称为秩退化），其中学习到的表示被映射到表示空间的低维子空间。最先进的SSL方法已被证明会遭受维度坍缩，并且无法保持满秩。最近防止该问题的方法提出了使用对比损失、正则化技术或架构技巧。我们提出了WERank，一种对网络权重参数的新正则化器，用于防止网络不同层的秩退化。我们提供了经验证据和数学证明，以展示所提出的正则化方法在防止维度坍缩方面的有效性。我们验证了WERank在图SSL上的影响，其中由于缺乏适当的数据增强，维度坍缩更为明显。我们通过实验证明，WERank有助于BYOL在SSL预训练期间获得更高的秩，从而在评估探测期间获得更高的下游准确率。消融研究和实验分析揭示了所提方法性能提升背后的潜在因素。
引用
@article{arxiv.2402.09586,
title = {WERank: Towards Rank Degradation Prevention for Self-Supervised Learning Using Weight Regularization},
author = {Ali Saheb Pasand and Reza Moravej and Mahdi Biparva and Ali Ghodsi},
journal= {arXiv preprint arXiv:2402.09586},
year = {2024}
}