少样本图像分类器中虚假偏差的基准测试

少样本图像分类器旨在以最少的监督和有限的数据识别并分类新数据，但往往表现出对类别与虚假属性之间虚假相关性的依赖，这被称为虚假偏差。虚假相关性通常在某些样本中成立，少样本分类器可能会受到由此产生的虚假偏差的影响。目前缺乏一种自动基准测试系统来评估少样本分类器对虚假偏差的鲁棒性。在本文中，我们提出了一个系统且严谨的基准测试框架，称为 FewSTAB，以公平地展示和量化少样本分类器对虚假偏差的不同程度的鲁棒性。FewSTAB 创建了带有偏差属性的少样本评估任务，使得使用它们进行预测会表现出较差的性能。为了构建这些任务，我们提出了基于预训练视觉-语言模型的基于属性的样本选择策略，消除了手动数据集策划的需要。这使得 FewSTAB 能够使用任何现有的测试数据自动对虚假偏差进行基准测试。FewSTAB 提供了一个新维度的评估结果，以及构建鲁棒分类器的新设计指南。此外，它可以对不同程度的虚假偏差进行基准测试，并支持对不同鲁棒性程度的设计。通过在三个数据集上的十种少样本学习方法上的实验证明了其有效性。我们希望我们的框架能够启发鲁棒少样本分类器的新设计。我们的代码可在 https://github.com/gtzheng/FewSTAB 获取。