面向遮挡行人重识别的擦除、变换与加噪防御网络
计算机视觉与模式识别
2023-11-28 v3
摘要
遮挡扰动是行人重识别（re-ID）中的一大挑战，现有依赖外部视觉线索的方法需要额外计算资源，且只考虑了遮挡导致的信息缺失问题。本文中，我们提出了一种简洁而有效的框架，称为擦除、变换与加噪防御网络（ETNDNet），其将遮挡视为噪声干扰，并从对抗防御的角度解决遮挡行人重识别问题。在所提 ETNDNet 中，我们引入三种策略：首先，我们随机擦除特征图以创建信息不完整的对抗表示，实现身份损失的对抗学习，从而保护 re-ID 系统免受信息缺失干扰。其次，我们引入随机变换以模拟遮挡引起的位置错位，对抗地训练提取器与分类器以学习对错位信息鲁棒的表示。第三，我们用随机值扰动特征图以应对障碍物与非目标行人引入的噪声信息，并在 re-ID 系统中采用对抗博弈增强其对遮挡噪声的抵抗能力。无需繁冗修饰，ETNDNet 有三个关键亮点：(i) 不需要任何带参数的外部模块，(ii) 有效处理由障碍物与非目标行人引起的各类遮挡问题，(iii) 设计了首个基于 GAN 的遮挡行人重识别对抗防御范式。在五个公开数据集上的大量实验充分证明了所提 ETNDNet 的有效性、优越性与实用性。代码将发布于 \url{https://github.com/nengdong96/ETNDNet}。
引用
@article{arxiv.2307.07187,
title = {Erasing, Transforming, and Noising Defense Network for Occluded Person Re-Identification},
author = {Neng Dong and Liyan Zhang and Shuanglin Yan and Hao Tang and Jinhui Tang},
journal= {arXiv preprint arXiv:2307.07187},
year = {2023}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)