FANoise：面向鲁棒多模态表示学习的奇异值自适应噪声调制
机器学习
2025-11-27 v1 人工智能
摘要
表示学习是现代机器学习的基础，为文本检索和多模态理解等应用提供动力。然而，学习鲁棒且可泛化的表示仍然具有挑战性。尽管先前的工作已证明主动噪声注入（一种数据增强形式）可以增强编码性能，但大多数现有方法依赖于启发式或静态噪声，忽略了训练期间特征分布的动态特性。在这项工作中，我们以InfoNCE损失为代表性示例，从基于梯度和特征分布的角度系统地研究了噪声在表示学习中的作用。我们聚焦于多模态表示学习，提出了一种新颖的特征自适应噪声注入策略FANoise。通过利用对比学习的动力学特性，FANoise有效地减轻了噪声的负面影响，同时保留了其益处。在这一理论基础的框架下，综合实验表明，FANoise在各种基础视觉-语言模型（VLM）上持续提升了多模态任务的整体性能。
引用
@article{arxiv.2511.20997,
title = {FANoise: Singular Value-Adaptive Noise Modulation for Robust Multimodal Representation Learning},
author = {Jiaoyang Li and Jun Fang and Tianhao Gao and Xiaohui Zhang and Zhiyuan Liu and Chao Liu and Pengzhang Liu and Qixia Jiang},
journal= {arXiv preprint arXiv:2511.20997},
year = {2025}
}
备注
13 pages, 5 figures, accept to AAAI2026