针对 RGB-Event 基于视觉跟踪的对抗攻击
计算机视觉与模式识别
2025-04-22 v1 人工智能
摘要
视觉目标跟踪是计算机视觉和多模态融合领域的关键性研究主题。在各种方法中，能够结合 RGB 帧与 Event 流实现鲁棒视觉跟踪的技术正在吸引越来越多的研究者的注意。虽然追求在跟踪过程中实现高精度和高效率，也重要，但探索如何有效地对 RGB-Event 流跟踪算法进行对抗攻击与防御，同样至关重要；然而在这一领域的研究仍相对稀少。为弥合这一差距，本文提出了一种用于 RGB-Event 视觉跟踪的跨模态对抗攻击算法。鉴于 Event 流表示方式的多样性，且因 Event 体素和帧的表示方式较为常见，本文将重点深入研究这两种表示方式。具体而言，对于 RGB-Event 体素，我们首先通过对抗损失优化扰动，以生成 RGB 帧的对抗样本。对于离散的 Event 体素表示，我们提出了两步攻击策略：首先将 Event 体素注入目标区域作为初始化的对抗样本，然后通过扰动 Event 体素的空间位置来进行梯度引导的优化。对于基于 RGB-Event 帧的跟踪，我们通过整合多模态数据中的梯度信息来优化跨模态通用扰动。我们在三个广泛使用的 RGB-Event 跟踪数据集上（即 COESOT、FE108 和 VisEvent）评估了所提出方法。大量实验表明，在单模态和多模态场景中，我们的方法在众多数据集上显著降低了跟踪器的性能。源代码将在 https://github.com/Event-AHU/Adversarial_Attack_Defense 上发布。
引用
@article{arxiv.2504.14423,
title = {Adversarial Attack for RGB-Event based Visual Object Tracking},
author = {Qiang Chen and Xiao Wang and Haowen Wang and Bo Jiang and Lin Zhu and Dawei Zhang and Yonghong Tian and Jin Tang},
journal= {arXiv preprint arXiv:2504.14423},
year = {2025}
}