针对行人属性识别的对抗语义与标签扰动攻击
计算机视觉与模式识别
2025-05-30 v1 人工智能
机器学习
摘要
行人属性识别 (PAR) 是以人为中心的研究中不可或缺的任务，近年来随着深度神经网络的发展取得了巨大进展。然而，其潜在的脆弱性和抗干扰能力仍未被充分探索。为填补这一空白，本文提出了首个针对行人属性识别的对抗攻击与防御框架。具体而言，基于预训练的基于 CLIP 的 PAR 框架，我们对行人图像进行全局和块级攻击。该框架首先将输入的行人图像划分为不重叠的块，并使用投影层将其嵌入为特征向量。同时，属性集通过提示扩展为句子，并使用预训练的 CLIP 文本编码器嵌入为属性特征。采用多模态 Transformer 融合所得的视觉与文本 token，并利用前馈网络进行属性识别。在上述 PAR 框架的基础上，我们采用对抗语义与标签扰动来生成对抗噪声，称为 ASL-PAR。我们还设计了一种语义偏移防御策略以抑制对抗攻击的影响。在数字域（即 PETA、PA100K、MSP60K、RAPv2）和物理域上进行的大量实验，充分验证了我们所提出的行人属性识别对抗攻击与防御策略的有效性。本文的源代码将发布于 https://github.com/Event-AHU/OpenPAR。
引用
@article{arxiv.2505.23313,
title = {Adversarial Semantic and Label Perturbation Attack for Pedestrian Attribute Recognition},
author = {Weizhe Kong and Xiao Wang and Ruichong Gao and Chenglong Li and Yu Zhang and Xing Yang and Yaowei Wang and Jin Tang},
journal= {arXiv preprint arXiv:2505.23313},
year = {2025}
}