重新思考自监督学习中的均匀性度量
机器学习
2024-04-29 v2 人工智能
计算机视觉与模式识别
摘要
均匀性在评估学习到的表示中起着重要作用，为自监督学习提供了见解。在我们寻找有效的均匀性度量的过程中，我们确定了此类度量应具备的四个原则性属性。即，一个有效的均匀性度量应对实例排列和样本复制保持不变，同时准确捕捉特征冗余和维度坍缩。令人惊讶的是，我们发现由Wang等人（2020）提出的均匀性度量未能满足这些属性中的大部分。具体来说，他们的度量对样本复制敏感，并且无法正确解释特征冗余和维度坍缩。为了克服这些局限性，我们引入了一种基于Wasserstein距离的新均匀性度量，它满足所有上述属性。将此新度量集成到现有的自监督学习方法中，可以有效缓解维度坍缩，并持续提高其在涉及CIFAR-10和CIFAR-100数据集的下游任务上的性能。代码可在\url{https://github.com/statsle/WassersteinSSL}获取。
引用
@article{arxiv.2403.00642,
title = {Rethinking The Uniformity Metric in Self-Supervised Learning},
author = {Xianghong Fang and Jian Li and Qiang Sun and Benyou Wang},
journal= {arXiv preprint arXiv:2403.00642},
year = {2024}
}