面向跨模态行人重识别的生成对抗性补丁
计算机视觉与模式识别
2024-10-29 v1
摘要
可见-红外行人重识别（VI-ReID）旨在匹配由红外摄像头和可见摄像头捕获的行人图像。然而，VI-ReID 像其他传统跨模态图像匹配任务一样，面临着显著挑战，这体现在现有方法的不足上，这些方法在跨模态中提取共同特征时难以为力，在隐式特征空间中桥接两者之间的差距时会丢失宝贵信息，可能损害安全性。为解决这一漏洞，本文引入了针对 VI-ReID 模型的首个物理性对抗攻击。我们称之为 Edge-Attack。该方法特别测试了模型利用深层隐式特征的能力，关注边缘信息——这是最显著的、在不同模态中区分个体的显式特征。Edge-Attack 采用一种新颖的两步方法。首先，训练一个多级边缘特征提取器，以自监督方式捕获每个个体的判别性边缘表征。其次，采用基于 Vision Transformer Generative Adversarial Networks（ViTGAN）的生成模型，用于在提取的边缘特征条件下生成对抗性补丁。通过将这些补丁应用于行人服装，我们创建了真实可感知的对抗样本。这种黑箱、自监督的方法确保了该攻击对各种 VI-ReID 模型具有普适性。在 SYSU-MM01 和 RegDB 数据集上进行大量实验，包括实际部署，证明了 Edge-Attack 在显著降低最先进 VI-ReID 方法性能方面的有效性。
引用
@article{arxiv.2410.20097,
title = {Generative Adversarial Patches for Physical Attacks on Cross-Modal Pedestrian Re-Identification},
author = {Yue Su and Hao Li and Maoguo Gong},
journal= {arXiv preprint arXiv:2410.20097},
year = {2024}
}