MetaCoCo：带有虚假关联的新型少样本分类基准
计算机视觉与模式识别
2024-05-01 v1
摘要
少样本分类 (FSC) 中的分布外 (OOD)问题发生在当新类从测试分布中抽样与从训练分布中抽样的基类不同时，这显著降低了在实际应用中部署的深度学习模型性能。近期研究表明，FSC 中的 OOD问题主要包括：（a）跨域少样本分类 (CD-FSC) 和（b）虚假关联少样本分类 (SC-FSC)。具体而言，CD-FSC发生在分类器学习从训练分布中抽样的基类 transferring 知识，但识别来自未见测试分布中抽样的新类时。相比之下，SC-FSC arises 当分类器依赖于与标签 (或概念) 在基类中偶然相关的非因果特征 (或上下文) 时，但这种关系在模型部署时不再成立。尽管 CD-FSC 已被广泛研究，但由于缺乏相应的评估基准，SC-FSC 仍未得到充分研究。为此，我们提出了具有虚假关联偏移的 Meta Concept Context (MetaCoCo)，一个来自真实世界情景的基准。此外，为了量化所提出 MetaCoCo 的虚假关联偏移，我们进一步提出了一个指标，通过使用 CLIP 作为预训练的视觉语言模型。对所提出基准上进行大量实验，以评估 FSC、跨域偏移和自监督学习的最新方法。实验结果表明，在虚假关联偏移的存在下，现有方法的性能显著下降。我们开源了基准的所有代码，期望 MetaCoCo 能促进 FSC 中虚假关联偏移问题的未来研究。代码地址：https://github.com/remiMZ/MetaCoCo-ICLR24。
引用
@article{arxiv.2404.19644,
title = {MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation},
author = {Min Zhang and Haoxuan Li and Fei Wu and Kun Kuang},
journal= {arXiv preprint arXiv:2404.19644},
year = {2024}
}
备注
ICLR 24