利用 Salient ImageNet 进行核心风险最小化
计算机视觉与模式识别
2022-03-30 v1 人工智能
摘要
深度神经网络在现实世界中可能不可靠，尤其是当它们大量使用虚假特征进行预测时。最近，Singla & Feizi（2022）通过标注和定位来自 ImageNet 232 个类别的约 52k 个样本的核心与虚假特征，引入了 Salient Imagenet 数据集。虽然该数据集可用于评估预训练模型对虚假特征的依赖，但其小规模限制了其用于训练模型的作用。本工作中，我们首先引入 Salient Imagenet-1M 数据集，其中包含针对全部 1000 个 ImageNet 类别的超过 100 万张定位核心与虚假特征的软掩码。利用该数据集，我们首先评估了多个 ImageNet 预训练模型（共 42 个）对虚假特征的依赖，并观察到：（i）与卷积网络相比，Transformer 对虚假特征更敏感；（ii）零样本 CLIP Transformer 极易受虚假特征影响。接下来，我们引入一种称为核心风险最小化（CoRM）的新学习范式，其目标确保模型使用核心特征预测类别。我们评估了求解 CoRM 的不同计算方法，并在干净准确率不下降的情况下，相比通过经验风险最小化训练的模型实现了显著更高的（+12%）核心准确率（非核心区域被噪声破坏时的准确率）。
引用
@article{arxiv.2203.15566,
title = {Core Risk Minimization using Salient ImageNet},
author = {Sahil Singla and Mazda Moayeri and Soheil Feizi},
journal= {arXiv preprint arXiv:2203.15566},
year = {2022}
}