通过因果干预改进弱监督目标定位
计算机视觉与模式识别
2021-08-04 v3
摘要
近期出现的弱监督目标定位（WSOL）方法仅利用图像级标签即可学习定位图像中的目标。先前的工作致力于从小而稀疏的判别性注意力图中感知间隔目标，却忽略了共现混杂因子（例如鸟与天空），这使得模型检视（如 CAM）难以区分目标与背景。本文中，我们早期尝试通过因果干预（CI）解决该挑战。我们提出的方法称为 CI-CAM，探索图像、上下文与类别间的因果关系，以消除类激活图中的偏置共现，从而提升目标定位精度。在多个基准上的大量实验证明了 CI-CAM 从混杂上下文中学习清晰目标边界的有效性。特别是在深受共现混杂因子影响的 CUB-200-2011 上，CI-CAM 显著优于传统基于 CAM 的基线（top-1 定位精度 58.39% 对比 52.4%）。而在 ImageNet 等更通用的场景中，CI-CAM 也能与当前最优方法表现相当。
引用
@article{arxiv.2104.10351,
title = {Improving Weakly-supervised Object Localization via Causal Intervention},
author = {Feifei Shao and Yawei Luo and Li Zhang and Lu Ye and Siliang Tang and Yi Yang and Jun Xiao},
journal= {arXiv preprint arXiv:2104.10351},
year = {2021}
}
备注
9 pages, 5 figures. This paper was accepted by ACM Multimedia 2021. The code can be available at https://github.com/shaofeifei11/CI-CAM