LDReg：局部维度正则化的自监督学习
机器学习
2024-03-15 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
通过自监督学习（SSL）学习的表示容易发生维度坍塌，即学习到的表示子空间维度极低，从而无法表示完整的数据分布和模态。维度坍塌也被称为“填充不足”现象，是下游任务性能下降的主要原因之一。先前的工作在全局层面研究了 SSL 的维度坍塌问题。在本文中，我们证明表示可以在全局上跨越高维空间，但在局部发生坍塌。为解决此问题，我们提出了一种名为 的方法。我们的公式基于 Fisher-Rao 度量的推导，以在每个数据点的渐近小半径处比较和优化局部距离分布。通过增加局部内在维度，我们通过一系列实验证明 LDReg 提高了 SSL 的表示质量。结果还表明 LDReg 可以在局部和全局层面正则化维度。
引用
@article{arxiv.2401.10474,
title = {LDReg: Local Dimensionality Regularized Self-Supervised Learning},
author = {Hanxun Huang and Ricardo J. G. B. Campello and Sarah Monazam Erfani and Xingjun Ma and Michael E. Houle and James Bailey},
journal= {arXiv preprint arXiv:2401.10474},
year = {2024}
}
备注
ICLR 2024