基于双向多视角提示对齐的噪声感知少样本学习
计算机视觉与模式识别
2026-03-13 v1
摘要
视觉语言模型通过提示调优提供强大的少样本能力，但因噪声标签而变得脆弱，这些噪声标签会破坏提示并降低跨模态对齐。现有方法往往缺乏建模细粒度语义线索的能力，以及动态分离干净信号与噪声信号的能力。为此，我们提出NA-MVP（Noise-Aware few-shot learning through bi-directional Multi-View Prompt alignment），用于噪声感知的少样本学习框架。NA-MVP建立在一个关键概念转变之上：鲁棒的提示学习需要从全局匹配转向区域感知对齐，以显式区分干净线索与噪声线索。为实现这一点，NA-MVP采用（1）结合非平衡最优传输的多视角提示，以实现细粒度的patch-to-prompt对应关系，同时抑制不可靠区域；（2）双向提示设计，捕获补充干净导向线索和噪声感知线索的能力，使模型聚焦于稳定语义；（3）基于最优传输的对齐引导的选择性精炼策略，用于纠正仅误标记的样本，同时保留可靠数据。在合成和真实世界的噪声基准上进行实验，表明NA-MVP consistently优于state-of-the-art基线，确认了其在面向噪声监督的鲁棒少样本学习中的有效性。
引用
@article{arxiv.2603.11617,
title = {Noise-aware few-shot learning through bi-directional multi-view prompt alignment},
author = {Lu Niu and Cheng Xue},
journal= {arXiv preprint arXiv:2603.11617},
year = {2026}
}