弱场景标注下利用无线定位的无监督行人重识别
计算机视觉与模式识别
2023-04-06 v2
摘要
现有的无监督行人重识别方法仅依赖视觉线索在不同相机下匹配行人。由于视觉数据本质上易受遮挡、模糊、衣物变化等影响，一个有前景的解决方案是引入异构数据以弥补视觉数据的缺陷。一些基于全场景标注的工作引入无线定位来辅助跨域行人重识别，但它们对整个监控场景的 GPS 标注费力。为此，我们提出在弱场景标注下探索利用视觉数据和无线定位轨迹的无监督行人重识别，其中我们仅需知道相机的位置。具体而言，我们提出一种新颖的无监督多模态训练框架(UMTF)，其对视觉数据和无线信息的互补性进行建模。我们的 UMTF 包含多模态数据关联策略(MMDA)和多模态图神经网络(MMGN)。MMDA 在未标注多模态数据中探索潜在数据关联，而 MMGN 基于从无线数据的直方图统计学习到的邻接矩阵在视频图中传播多模态消息。得益于无线数据对视觉噪声的鲁棒性以及各模块的协作，UMTF 能够学习一个无需数据上人工标签的模型。在 WP-ReID 和 DukeMTMC-VideoReID 两个具有挑战性的数据集上进行的大量实验结果证明了所提方法的有效性。
引用
@article{arxiv.2110.15610,
title = {Unsupervised Person Re-Identification with Wireless Positioning under Weak Scene Labeling},
author = {Yiheng Liu and Wengang Zhou and Qiaokang Xie and Houqiang Li},
journal= {arXiv preprint arXiv:2110.15610},
year = {2023}
}
备注
Accepted by TPAMI 2022