通过正交正则化防止自监督学习中的维度坍缩
机器学习
2024-11-04 v1 人工智能
摘要
自监督学习（SSL）近年来迅速发展，已接近其监督学习 counterpart 的性能，关键通过从无标签数据中提取表征。然而，维度坍缩——即少数大特征值主导特征空间——构成SSL的重要障碍。当维度坍缩发生在特征（如隐藏特征和表征）上时，会阻止特征完整表示数据；当维度坍缩发生在权力矩阵上时，其滤波器自相关且冗余，限制了其表达能力。现有研究主要聚焦于表征的维度坍缩，忽视了其是否足以防止权力矩阵和隐藏特征的维度坍缩。为此，我们首次提出一种采用正交正则化（OR）的缓解方法，针对预训练过程中的卷积层和线性层进行OR，旨在防止权力矩阵、隐藏特征和表征的维度坍缩。我们的实证研究表明，OR在多样化基准测试上显著提升SSL方法的性能，无论是CNN还是基于Transformer的架构均实现持续 gains。
引用
@article{arxiv.2411.00392,
title = {Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization},
author = {Junlin He and Jinxiao Du and Wei Ma},
journal= {arXiv preprint arXiv:2411.00392},
year = {2024}
}
备注
accepted by NeurIPS 2024 as a poster