面向可见光-红外视频行人重识别的对抗自攻击防御与时空关系挖掘
计算机视觉与模式识别
2023-08-14 v3
摘要
在可见光-红外视频行人重识别（re-ID）中，提取不受复杂场景（如模态、相机视角、行人姿态、背景等）变化影响的特性，并挖掘与利用运动信息，是解决跨模态行人身份匹配的关键。为此，本文从新视角提出了一种可见光-红外视频行人重识别新方法，即对抗自攻击防御与时空关系挖掘。该工作中，视角、姿态、背景的变化以及模态差异被视为导致行人身份特征扰动的主要因素。训练样本中所包含的此类干扰信息被用作对抗扰动。它在训练过程中对 re-ID 模型执行对抗攻击，使模型对这些不利因素更具鲁棒性。该对抗扰动引发的攻击通过激活输入样本中包含的干扰信息实现，而无需生成对抗样本，因此可称为对抗自攻击。这一设计使对抗攻击与防御集成于同一框架。本文进一步提出了一种时空信息引导的特征表示网络，以利用视频序列中的信息。该网络不仅能提取视频帧序列中包含的信息，还能利用空间局部信息间的关系引导网络提取更具鲁棒性的特征。所提方法在大规模跨模态视频数据集上展现出引人注目的性能。所提方法的源代码将于 https://github.com/lhf12278/xxx 发布。
引用
@article{arxiv.2307.03903,
title = {Adversarial Self-Attack Defense and Spatial-Temporal Relation Mining for Visible-Infrared Video Person Re-Identification},
author = {Huafeng Li and Le Xu and Yafei Zhang and Dapeng Tao and Zhengtao Yu},
journal= {arXiv preprint arXiv:2307.03903},
year = {2023}
}
备注
11 pages,8 figures