基于Foundation模型洞察与多模型方法实现卓越的精细化单样本子集选择

单样本子集选择是一种有效工具，通过信息提取器（Information Extractor, IE）从中提取的信息来识别具有信息量的子集，从而减少深度学习训练成本。传统IE通常预训练于目标数据集，因而具有数据依赖性。Foundation模型（Foundation Models, FMs）提供了有前景的替代方案，可能缓解这一限制。本工作研究了两个关键问题：（1）FM-based子集选择在 diverse datasets 上能否超过传统IE-based方法？（2）所有FMs在作为IE用于子集选择时表现是否相同？大量实验揭示了令人惊讶的发现：FMs在 fine-grained datasets 上持续优于传统IEs，而在标签噪声的粗粒度数据集上优势则减弱。针对这些发现，我们提出了RAM-APL（RAnking Mean-Accuracy of Pseudo-class Labels），一种针对 fine-grained image 数据集的方法。RAM-APL 利用多个FMs来增强子集选择，通过利用它们的互补优势。我们的做法在 fine-grained 数据集上实现了最佳性能，包括Oxford-IIIT Pet、Food-101和Caltech-UCSD Birds-200-2011。