图像分类器在罕见子群上系统性错误的识别
计算机视觉与模式识别
2023-04-13 v2 人工智能
机器学习
摘要
尽管许多图像分类器在平均情况下表现优异，但其性能在训练数据中代表性不足、语义连贯的数据子群上可能显著下降。这些系统性错误会影响人口少数群体的公平性，以及域偏移下的鲁棒性和安全性。一个主要挑战在于：当子群未被标注且其出现频率极低时，识别此类性能不佳的子群。我们利用文本到图像模型的最新进展，在子群文本描述（“提示词”）空间中搜索目标模型在提示词条件合成数据上性能较低的子群。为应对子群数量呈指数增长的问题，我们采用组合测试。我们将该过程称为 PromptAttack，因为它可解释为提示词空间中的对抗攻击。我们在受控设置中研究 PromptAttack 的子群覆盖率和可识别性，发现其能以高准确率识别系统性错误。据此，我们将 PromptAttack 应用于 ImageNet 分类器，识别出罕见子群上新颖的系统性错误。
引用
@article{arxiv.2303.05072,
title = {Identification of Systematic Errors of Image Classifiers on Rare Subgroups},
author = {Jan Hendrik Metzen and Robin Hutmacher and N. Grace Hua and Valentyn Boreiko and Dan Zhang},
journal= {arXiv preprint arXiv:2303.05072},
year = {2023}
}