Spawrious：一种用于精细控制虚假相关偏差的基准
计算机视觉与模式识别
2023-06-13 v3 机器学习
摘要
当分类器依赖于训练数据中恰好与标签相关的非预测性特征时，就会出现虚假相关（SCs）问题。例如，分类器可能根据狗图像的背景来误分类狗的品种。当背景在训练数据中与其他品种相关时，就会发生这种情况，从而导致测试时的误分类。以往的 SC 基准数据集存在各种问题，例如过度饱和，或仅包含一对一（O2O）SCs，而缺少在虚假属性组与类别组之间出现的多对多（M2M）SCs。在本文中，我们提出 \benchmark-{O2O, M2M}-{Easy, Medium, Hard}，一个包含类别与背景之间虚假相关关系的图像分类基准套件。为创建该数据集，我们采用文本到图像模型生成照片级真实图像，并使用图像描述模型过滤掉不合适的图像。所得数据集质量高，包含约 152k 张图像。我们的实验结果表明，最先进的组鲁棒性方法在 \benchmark 上表现不佳，尤其是在 Hard 划分上，使用在 ImageNet 上预训练的 ResNet50 时，没有任何方法在最难划分上达到超过 的准确率。通过检查模型的误分类，我们检测到对虚假背景的依赖，表明我们的数据集带来了显著挑战。
引用
@article{arxiv.2303.05470,
title = {Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases},
author = {Aengus Lynch and Gbètondji J-S Dovonon and Jean Kaddour and Ricardo Silva},
journal= {arXiv preprint arXiv:2303.05470},
year = {2023}
}