更好未必更公平：图像分类中子群差异的研究
计算机视觉与模式识别
2023-09-25 v2
摘要
在本文中，我们在流行数据集上提供 20,000 条非平凡人工标注，作为研究自然语义伪特征如何影响图像分类的第一步，因为先前工作常因难以获取真实数据集而研究混合低级特征的数据集。我们通过将 CIFAR10 与 CIFAR100 的测试集按每张图像背景颜色标注为子群，来探究自然背景颜色作为伪特征所起的作用。我们将数据集命名为 CIFAR10-B 与 CIFAR100-B，并将其与 CIFAR-Cs 整合。我们发现总体人类水平准确率并不能保证一致的子群表现，且该现象即使在 ImageNet 上预训练的模型或经过数据增强（DA）后依然存在。为缓解此问题，我们提出 FlowAug，一种利用预训练生成流所捕获的解耦语义表示的语义 DA。实验结果表明，在 CIFAR10/100 与 CIFAR10/100-C 上，FlowAug 比其他类型 DA 方法取得更一致的子群结果。此外，它展现出更好的泛化性能。进一步，我们提出一种通用度量 MacroStd，用于研究模型对伪相关性的鲁棒性，其中我们对不同类上的加权标准差取宏平均。我们展示 MacroStd 更能预测更优表现；依据我们的度量，FlowAug 在子群差异上表现出改进。尽管该度量是为研究我们策划的数据集而提出，它适用于所有具有子群或子类的数据集。最后，我们还在 CIFAR10.1 上展示了优越的分布外结果。
引用
@article{arxiv.2212.08649,
title = {Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image Classification},
author = {Ming-Chang Chiu and Pin-Yu Chen and Xuezhe Ma},
journal= {arXiv preprint arXiv:2212.08649},
year = {2023}
}
备注
9 pages, 7 figures, ICCV