增强图与对比学习中网络可逼近性的一致性
机器学习
2025-07-08 v2 偏微分方程分析
谱理论
摘要
对比学习利用数据增强来开发特征表示，而无需依赖大量标记数据集。然而，尽管其实证成功显著，理论基础仍不完整，尤其是关于神经网络对最优谱对比损失解的可逼近性假设（realizability assumption）等关键保障尚未得到充分阐述。本文通过分析增强图拉普拉斯算子的时间点一致性和谱一致性，克服了这些限制。我们证明，在数据生成和图连通性的特定条件下，随着增强数据集大小的增加，增强图拉普拉斯算子会收敛于自然数据流形上的加权 Laplace-Beltrami 算子。这些一致性结果确保了图拉普拉斯谱有效地捕捉流形几何。由此，我们为建立神经网络可逼近性提供了稳健框架，直接解决了当前范式下的可实现性假设。
引用
@article{arxiv.2502.04312,
title = {Consistency of augmentation graph and network approximability in contrastive learning},
author = {Chenghui Li and A. Martina Neuman},
journal= {arXiv preprint arXiv:2502.04312},
year = {2025}
}