基于视频的人员重识别中的时空相互促进
计算机视觉与模式识别
2018-12-27 v1
摘要
基于视频的人员重识别是一项在多个摄像机视图中匹配人员视频序列的关键任务。通常，直接从单帧中提取的特征会受到遮挡、模糊、光照和姿态变化的影响。这会导致某些区域出现错误激活或缺失激活，从而破坏外观和运动表示。如何探索视频序列中丰富的时空信息是解决该问题的关键。为此，我们提出了一种精炼循环单元 (Refining Recurrent Unit, RRU)，通过参考历史帧来恢复当前帧特征的缺失部分并抑制其噪声部分。借助 RRU，每帧外观表示的质量得到提升。然后，我们使用时空线索整合模块 (Spatial-Temporal clues Integration Module, STIM) 从这些升级后的特征中挖掘时空信息。同时，采用多级训练目标来增强 RRU 和 STIM 的能力。通过这些模块的协作，空间和时间特征相互促进，最终的时空特征表示更具判别性和鲁棒性。我们在三个具有挑战性的数据集（即 iLIDS-VID、PRID-2011 和 MARS）上进行了大量实验。实验结果表明，我们的方法在 iLIDS-VID 和 MARS 上优于现有的基于视频的人员重识别 SOTA 方法，并在 PRID-2011 上取得了良好的结果。
引用
@article{arxiv.1812.10305,
title = {Spatial and Temporal Mutual Promotion for Video-based Person Re-identification},
author = {Yiheng Liu and Zhenxun Yuan and Wengang Zhou and Houqiang Li},
journal= {arXiv preprint arXiv:1812.10305},
year = {2018}
}
备注
Accepted by AAAI19 as spotlight