ASPIRE：用于提升对虚假相关鲁棒性的语言引导数据增强

神经图像分类器常通过过度依赖与训练数据中类标签虚假相关的非预测性特征来进行预测。这导致在缺失此类特征的真实世界非典型场景中性能不佳。本文提出 ASPIRE（用于消除虚假相关的语言引导数据增强，Language-guided Data Augmentation for SPurIous correlation REmoval），一种简单而有效的方案，通过为训练数据集补充无虚假特征的图像，以借助更好的泛化实现针对虚假相关的鲁棒学习。ASPIRE 在各步骤受语言引导，能够生成无虚假图像，且无需任何组标注或训练集中已有的无虚假图像。具体而言，我们利用 LLM 首先从图像文本描述中提取前景与背景特征，随后通过先进的语言引导图像编辑来发现与类标签虚假相关的特征。最后，我们使用编辑后的图像对文本到图像生成模型进行个性化，以生成无虚假特征的多样域内图像。ASPIRE 与文献中所有已有的鲁棒训练方法互补，我们在 4 个数据集与 9 个基线上展示了其有效性，并表明 ASPIRE 将先前方法的最坏组分类准确率提升了 1%–38%。我们还为具有挑战性的 Hard ImageNet 数据集贡献了一个新的测试集。