三维空间中参数高效的人员重识别
计算机视觉与模式识别
2022-10-26 v3
摘要
人们生活在一个三维世界中。然而，现有人员重识别（re-id）工作大多在二维空间中考虑语义表示学习，本质上限制了对人的理解。在本工作中，我们通过探索三维身体结构的先验知识来解决这一局限。具体而言，我们将二维图像投影到三维空间，并引入一种新颖的参数高效全尺度图网络（OG-Net），直接从三维点云中学习行人表示。OG-Net 有效利用稀疏三维点提供的局部信息，并以连贯的方式利用结构与外观信息。借助三维几何信息，我们可以学习一种不受尺度与视角等噪声变量影响的新型深度重识别特征。据我们所知，我们是最早在三维空间中进行人员重识别的尝试之一。我们通过大量实验证明，所提方法（1）缓解了传统二维空间中的匹配困难，（2）利用了二维外观与三维结构的互补信息，（3）在四个大规模人员重识别数据集上以有限参数取得了具有竞争力的结果，以及（4）对未见过的数据集具有良好的可扩展性。我们的代码、模型和生成的三维人体数据公开于 https://github.com/layumi/person-reid-3d 。
引用
@article{arxiv.2006.04569,
title = {Parameter-Efficient Person Re-identification in the 3D Space},
author = {Zhedong Zheng and Nenggan Zheng and Yi Yang},
journal= {arXiv preprint arXiv:2006.04569},
year = {2022}
}
备注
The code is available at https://github.com/layumi/person-reid-3d