FLEX：无外参的多视角三维人体运动重建
计算机视觉与模式识别
2022-10-24 v4 图形学
机器学习
摘要
由多台摄像机拍摄的视频日益普及，为缓解姿态与运动重建方法中的遮挡和深度歧义提供了新途径。然而，多视角算法严重依赖摄像机参数，尤其是摄像机之间的相对变换。一旦转向非受控环境下的动态采集，这种依赖性便成为障碍。我们提出FLEX（Free muLti-view rEconstruXion），一种端到端的无外参多视角模型。FLEX无外参（称为ep-free）是指其不需要摄像机外参。我们的核心思想是骨骼部件间的三维角度以及骨长对摄像机位置不变。因此，学习三维旋转和骨长而非位置，可对全部摄像机视角预测出一致的值。我们的网络接收多路视频流，通过新颖的多视角融合层学习融合深度特征，并重建出具有时间连贯关节旋转的一致骨架。我们在三个公开数据集以及由动态摄像机拍摄的合成多人视频流上展示了定量与定性结果。我们将模型与并非ep-free的SOTA方法比较，表明在缺乏摄像机参数时，我们以大幅优势超越它们，而在有摄像机参数时取得可比结果。代码、训练模型及其他材料已发布于项目页。
引用
@article{arxiv.2105.01937,
title = {FLEX: Extrinsic Parameters-free Multi-view 3D Human Motion Reconstruction},
author = {Brian Gordon and Sigal Raab and Guy Azov and Raja Giryes and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2105.01937},
year = {2022}
}
备注
Accepted to ECCV22 Project page: https://briang13.github.io/FLEX/ Video: https://www.youtube.com/watch?v=hXc97BDJJTg