一种用于基于视频行人重识别的光流引导互注意力网络
计算机视觉与模式识别
2020-10-06 v2
摘要
行人重识别（ReID）是许多视频分析与监控应用中的一个具有挑战性的问题，其中必须跨分布式非重叠摄像机网络关联一个人的身份。基于视频的行人 ReID 近期受到广泛关注，因为它能够捕获图像型 ReID 所无法获取的判别性时空信息。尽管近期有所进展，用于视频 ReID 的深度学习（DL）模型往往未能利用该信息来提升特征表示的鲁棒性。本文中，一个人的运动模式被探索作为 ReID 的额外线索。具体地，提出一种光流引导的互注意力网络，利用任意 2D-CNN 骨干网融合图像与光流序列，从而将时间信息与空间外观信息一同编码。我们的互注意力网络依赖于图像与光流特征图之间的联合空间注意力，以在二者上激活一组共同的显著特征。除光流引导注意力外，我们引入一种从更长输入流聚合特征的方法，以获得更好的视频序列级表示。我们在三个具挑战性的视频 ReID 数据集上的大量实验表明，相较于常规的门控注意力网络及最先进的基于视频行人 ReID 方法，所提出的互注意力网络显著提升了识别准确率。
引用
@article{arxiv.2008.03788,
title = {A Flow-Guided Mutual Attention Network for Video-Based Person Re-Identification},
author = {Madhu Kiran and Amran Bhuiyan and Louis-Antoine Blais-Morin and Mehrsan Javan and Ismail Ben Ayed and Eric Granger},
journal= {arXiv preprint arXiv:2008.03788},
year = {2020}
}