面向开放世界的模型归因的反事实解耦注意力学习
计算机视觉与模式识别
2025-07-01 v1 密码学与安全
机器学习
摘要
本文提出一种名为 Counterfactually Decoupled Attention Learning(CDAL)的方法，用于开放世界模型归因。现有方法依赖于区域分区或特征空间的手工设计，这些方法可能受到虚假统计相关性的干扰，在开放世界情景下难以应对新型攻击。为此，CDAL显式建模注意力视觉痕迹与来源模型归因之间的因果关系，通过反事实解耦判别模型特定痕迹与来自源偏置的混合来源偏置，以便进行比较。如此一来，所得因果效应为学习注意力图的质量提供量化，从而鼓励网络捕获可推广至未见来源模型的关键生成模式，通过最大化效应来实现。大量实验表明，在现有开放世界模型归因基准测试上，我们的方法在计算开销最小的前提下，始终以显著幅度提升 state-of-the-art 模型，尤其是在未见新型攻击方面效果显著。源代码：https://github.com/yzheng97/CDAL
引用
@article{arxiv.2506.23074,
title = {Learning Counterfactually Decoupled Attention for Open-World Model Attribution},
author = {Yu Zheng and Boyang Gong and Fanye Kong and Yueqi Duan and Bingyao Yu and Wenzhao Zheng and Lei Chen and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2506.23074},
year = {2025}
}
备注
Accepted by ICCV 2025. Code: \url{https://github.com/yzheng97/CDAL}