基于关键点的消息传递用于视频行人重识别
计算机视觉与模式识别
2021-12-14 v2
摘要
基于视频的行人重识别（re-ID）是视觉监控系统中的重要技术，旨在匹配不同摄像头拍摄的人物视频片段。现有方法大多基于卷积神经网络（CNN），其构建模块要么一次只处理局部邻域像素，要么在使用 3D 卷积建模时间信息时受人物运动引起的错位问题困扰。本文中，我们提出用一种面向人的图方法来克服普通卷积的局限。具体而言，提取位于人体关节关键点的特征并连接为时空图。这些关键点特征随后通过图卷积网络（GCN）从其相连节点进行消息传递来更新。训练期间，GCN 可附加到任意基于 CNN 的行人重识别模型上，以辅助特征图上的表示学习，而训练后可丢弃以获更好推理速度。我们的方法在带有生成人体关键点的 MARS 数据集和新标注的数据集 PoseTrackReID 上，相较基于 CNN 的基线模型带来显著提升。与先前工作相比，它还在 top-1 准确率和平均精度均值方面确立了新的 SOTA 方法。
引用
@article{arxiv.2111.08279,
title = {Keypoint Message Passing for Video-based Person Re-Identification},
author = {Di Chen and Andreas Doering and Shanshan Zhang and Jian Yang and Juergen Gall and Bernt Schiele},
journal= {arXiv preprint arXiv:2111.08279},
year = {2021}
}
备注
To appear in AAAI 2022