辨别首尾:迈向语义一致的视觉反事实解释
计算机视觉与模式识别
2022-07-19 v2
摘要
视觉反事实解释将查询图像中的图像区域替换为干扰图像中的区域,使得系统对变换后图像的判断变为干扰类别。本文提出一种基于两个关键思想的视觉反事实解释计算新框架。首先,我们强制被替换区域与替换区域包含相同语义部件,从而产生更具语义一致性的解释。其次,我们以计算高效的方式使用多张干扰图像,以更少的区域替换获得更具判别性的解释。在三个细粒度图像识别数据集上,我们的方法比竞争方法语义一致性高 27% 且速度快一个数量级。我们通过机器教学实验(教人类分类不同鸟类)凸显了我们的反事实解释相对于现有工作的效用。我们还用对系统判断贡献最大的部件与属性词汇补充解释。在该任务中,使用我们的反事实解释同样取得了相对于现有工作的 SOTA 结果,强化了语义一致解释的重要性。源代码见 https://github.com/facebookresearch/visual-counterfactuals。
引用
@article{arxiv.2203.12892,
title = {Making Heads or Tails: Towards Semantically Consistent Visual Counterfactuals},
author = {Simon Vandenhende and Dhruv Mahajan and Filip Radenovic and Deepti Ghadiyaram},
journal= {arXiv preprint arXiv:2203.12892},
year = {2022}
}
备注
Camera-ready version ECCV 2022