面向含噪跨模态匹配的负向预感知

跨模态抗噪学习是一项具有挑战性的任务，因为噪声对应关系难以识别和纠正。由于未解决噪声的累积且不可避免的负面影响，现有方法在噪声增加时无法保持稳定的性能。在本文中，我们提出了一种新颖的负向预感知跨模态匹配解决方案，用于在含噪下游任务上微调大型视觉-语言模型。其具有两个特点：(1) 对于噪声识别和抵抗，以往方法通常直接滤除噪声子集，而我们提出估计每个样本的负面影响。它不需要额外的校正机制，这些机制可能会预测不可靠的校正结果，从而导致自我强化错误。我们根据每个样本在训练过程中的负面影响为其分配置信权重。这自适应地调整每个样本的贡献，以避免噪声累积。(2) 为了在噪声增加时保持稳定的性能，我们通过维护一个记忆库来利用 DNN 的记忆效应。具体而言，我们应用 GMM 选择高置信度的干净样本作为记忆条目，其中记忆条目用于估计每个样本的负面影响。由于随着噪声的增加，干净样本更容易被 GMM 区分，记忆库在高噪声比下仍能保持高质量。与关注噪声样本的校正机制相比，基于记忆库的估计更具鲁棒性，这使得模型在含噪数据集上的性能保持稳定。大量实验表明，我们的方法在噪声比增加时显著提高了匹配准确率和性能稳定性。我们的方法也大幅超越了 state-of-the-art 方法。代码可在：https://github.com/ZhangXu0963/NPC 获取。