谱解缝与增强：基于双域对比学习的表示学习框架
机器学习
2026-02-11 v1 人工智能
摘要
大规模多模态对比学习最近在学习富有层次性和可迁移的表示方面取得了令人印象深刻的成功，但其在均匀处理特征维度并忽视所学习特征内在谱结构方面仍存在根本性局限。经验证据表明，高维嵌入倾向于坍缩到狭窄的锥中，将与任务相关的语义集中在小子空间，而大多数维度被噪声和伪相关占据。此类谱不平衡和解缝削弱了模型的泛化能力。我们提出谱解缝与增强（SDE），一个新型框架，弥合了嵌入空间几何与其谱属性之间的鸿沟。我们的方法利用奇异值分解来自适应地将特征维度划分为捕获任务关键语义的强信号、反映附加相关性的弱信号以及代表无关扰动的噪声。随后，应用基于课程的谱增强策略，对 selectively 放大信息性成分，并在训练稳定性方面提供理论保证。基于增强特征，我们进一步引入双域对比损失，联合优化特征空间和谱空间中的对齐，有效地将谱正则化集成到训练过程中，并鼓励更丰富、更稳健的表示。广泛的实验在大规模多模态基准测试上表明，SDE 持续改进表示的鲁棒性和泛化能力，超越了最先进的方法。SDE 无缝集成到现有对比学习管道中，为多模态表示学习提供了有效解决方案。
引用
@article{arxiv.2602.09066,
title = {Spectral Disentanglement and Enhancement: A Dual-domain Contrastive Framework for Representation Learning},
author = {Jinjin Guo and Yexin Li and Zhichao Huang and Jun Fang and Zhiyuan Liu and Chao Liu and Pengzhang Liu and Qixia Jiang},
journal= {arXiv preprint arXiv:2602.09066},
year = {2026}
}