基于背景混合的行动识别时序一致性约束可迁移对抗攻击
计算机视觉与模式识别
2025-05-26 v1
摘要
使用深度学习的行动识别模型易受对抗样本攻击，且这些攻击可在同一数据模态下训练的其他模型间迁移。现有可迁移攻击方法面临两大挑战：一是依赖源模型（即代理模型）与目标模型决策边界相似的假设，限制攻击迁移性；二是决策边界差异导致攻击方向不确定，引发梯度振荡。为此我们提出基于背景混合的时序一致性（BMTC）攻击方法。从输入转换视角，我们设计模型无关的背景对抗混合模块降低源-目标模型依赖。具体做法：随机抽取每个类别的视频，取其背景帧；通过强化学习选取攻击能力最强的背景帧与干净帧混合。同时以背景类别为指导更新对抗样本梯度，设计时序梯度一致性损失，强化后续帧攻击方向稳定性。实验在 UCF101 与 Kinetics-400 视频数据集及 ImageNet 图像数据集上表明：本方法显著提升了跨多模态行动/图像识别模型的对抗样本迁移性。代码已开源于 https://github.com/mlvccn/BMTC_TransferAttackVid。
引用
@article{arxiv.2505.17807,
title = {Temporal Consistency Constrained Transferable Adversarial Attacks with Background Mixup for Action Recognition},
author = {Ping Li and Jianan Ni and Bo Pang},
journal= {arXiv preprint arXiv:2505.17807},
year = {2025}
}
备注
Accepted in IJCAI'25