面向全模态人员识别的模态统一攻击

深度学习基于人员重识别(re-id)的模型已被广泛应用于监控系统。近期研究表明，黑盒单模态和跨模态re-id模型都容易受到对抗样本(AEs)的攻击，而多模态re-id模型的鲁棒性尚未得到探索。由于缺乏关于目标黑盒监控系统所部署的具体模型类型的知识，我们旨在生成针对全模态(单模态、跨模态和多模态)re-id模型的模态统一AEs。具体而言，我们提出一种新的模态统一攻击方法，以训练模态特定的对抗生成器，以有效攻击不同类型的re-id模型。我们采用一种多模态模型作为替代模型，其中每个模态的特征都通过度量扰动损失在融合前被扰动。为瓦解全模态模型的共同特征，我们引入交叉模态模拟扰动方法，通过有意将图像输入到替代模型中不对应的模态特定子网络中，从而模拟跨模态特征嵌入。此外，我们构构了多模态协同扰动策略，以利用多模态特征协同度量扰动损失，使攻击者能够全面破坏人员图像中信息丰富的内容。大量实验表明，我们的MUA方法能够有效攻击全模态re-id模型，分别实现了55.9%、24.4%、49.0%和62.7%的平均mAP下降率。