面向行人重识别的跨模态扰动协同攻击
计算机视觉与模式识别
2025-03-24 v6
摘要
近年来，大量研究聚焦于解决基于RGB图像的单模态行人重识别（ReID）系统的安全问题。然而，在实际应用中更常遇到的涉及红外相机图像的跨模态场景的安全性尚未得到充分关注。跨模态ReID的主要挑战在于有效处理不同模态之间的视觉差异。例如，红外图像通常是灰度图像，而可见光图像包含颜色信息。现有的攻击方法主要关注可见光图像模态的特征，忽略了其他模态的特征以及不同模态间数据分布的差异。这种忽视可能削弱这些方法在跨模态图像检索中的有效性。本研究首次探索了跨模态ReID模型的安全性，并提出了一种专门针对跨模态ReID的通用扰动攻击。该攻击通过利用来自不同模态数据的梯度来优化扰动，从而破坏判别器并增强模态间的差异。我们在三个广泛使用的跨模态数据集RegDB、SYSU和LLCM上进行了实验。结果不仅证明了我们方法的有效性，也为未来提高跨模态ReID系统鲁棒性提供了见解。代码将在https://github.com/finger-monkey/cmps__attack提供。
引用
@article{arxiv.2401.10090,
title = {Cross-Modality Perturbation Synergy Attack for Person Re-identification},
author = {Yunpeng Gong and Zhun Zhong and Yansong Qu and Zhiming Luo and Rongrong Ji and Min Jiang},
journal= {arXiv preprint arXiv:2401.10090},
year = {2025}
}
备注
Accepted at the Thirty-eighth Annual Conference on Neural Information Processing Systems (https://openreview.net/forum?id=LONd7ACEjy)