为稳健的少样本识别启用验证

少样本识别 (FSR) 通过使用最小数量的任务特定标注数据来训练，以解决分类任务。主流方法通过适应或微调预训练的视觉语言模型 (VLM)，并通过从开放数据源检索与任务相关但噪声较大的样本来增强稀缺的训练数据。微调后的 VLM 在针对任务特定的分布内 (ID) 测试数据上能获得相当好的泛化性能，但在分布外 (OOD) 测试数据上却表现不佳。这激励我们研究基于 VLM 微调的稳健 FSR。FSR 的核心挑战是数据稀缺，这一挑战超出了有限的训练数据，甚至涉及对验证数据的完全缺乏。我们认识到将检索到的开放数据用于验证是一个关键悖论的潜在解决方案：由于这些检索数据本质上与任务特定的 ID 训练数据不同，微调后的 VLM 在这些检索数据上会表现下降。这会导致验证逻辑偏好未进行任何微调的预训练模型，从而阻碍相对于泛化的改进。为解决这一困境，我们引入一种新的验证策略，通过在少量 ID 数据和检索数据上分别实现性能提升和性能下降的和谐，来实现验证逻辑的正确引导。我们的验证方法使部分微调的参数选择和检查点选择成为可能，缓解了过拟合并提高了测试数据泛化。我们将这一策略与稳健学习统一为一个 cohesive 框架：验证启用阶段性调优 (VEST)。在 established ImageNet OOD 基准测试上的广泛实验表明，VEST 显著优于现有的 VLM 适应方法，在 ID 和 OOD 数据上均实现了少样本识别的状态最佳性能。