PCA++: 均匀性如何在对比学习中抵御背景噪声
机器学习
2025-11-18 v1 机器学习
摘要
高维数据常包含被结构化背景噪声遮蔽的低维信号，这限制了标准 PCA 的效果。受对比学习启发，我们解决从正样本对中恢复共享信号子空间的问题，这些正样本对共享相同的信号但在背景上存在差异。我们的基线方法 PCA+ 使用仅对齐的对比学习，在背景变化不严重时成功，但在强噪声或高维 regime 下会失败。为此，我们引入 PCA++，一种硬均匀性约束的对比学习 PCA，通过对投影特征强制恒等协方差来实现。PCA++ 通过广义特征值问题得到闭式解，保持高维稳定性，并在背景干扰方面具有显著的正则化效果。我们提供了固定比例和增长脉冲 regime 下的 exact high-dimensional asymptotics，阐明了均匀性在稳健信号恢复中的作用。实验方面，PCA++ 在模拟实验、受损 MNIST 和单细胞转录组数据上均优于标准 PCA 和仅对齐的 PCA+，可靠地恢复 condition-invariant 结构。更广泛地，我们阐明了均匀性在对比学习中的作用，表明显式特征离散化能够抵御结构化噪声并增强稳健性。
引用
@article{arxiv.2511.12278,
title = {PCA++: How Uniformity Induces Robustness to Background Noise in Contrastive Learning},
author = {Mingqi Wu and Qiang Sun and Yi Yang},
journal= {arXiv preprint arXiv:2511.12278},
year = {2025}
}
备注
14 pages main, 26 pages appendix