Radial-VCReg：通过径向高斯化实现更具信息的表征学习
机器学习
2026-02-17 v1
摘要
自监督学习旨在学习最大信息的表征，但由于维度灾难，显式信息最大化受到限制。现有方法如 VCReg 通过正则化特征统计的一次阶和二阶矩，无法完全实现最大熵。我们提出了 Radial-VCReg，通过引入径向高斯化损失，将特征范数与卡方分布对齐——这是高维高斯分布的定义性属性。我们证明了 Radial-VCReg 将更广泛的分布转化为正态分布的程度优于 VCReg，并在合成数据和真实数据集上表明其始终通过减少更高阶依赖性和促进更具信息的表征来提高性能。
引用
@article{arxiv.2602.14272,
title = {Radial-VCReg: More Informative Representation Learning Through Radial Gaussianization},
author = {Yilun Kuang and Yash Dagade and Deep Chakraborty and Erik Learned-Miller and Randall Balestriero and Tim G. J. Rudner and Yann LeCun},
journal= {arXiv preprint arXiv:2602.14272},
year = {2026}
}
备注
Published in the Unifying Representations in Neural Models (UniReps) and Symmetry and Geometry in Neural Representations (NeurReps) Workshops at NeurIPS 2025