基于自监督的渐进式多视角人体网格恢复
计算机视觉与模式识别
2022-12-13 v1 人工智能
摘要
迄今为止，尽管多视角 3D 人体网格估计具有现实适用性（例如动作捕捉、运动分析）且对单视角歧义具有鲁棒性，却很少受到关注。现有方案通常对新场景的泛化性能较差，这主要归因于多视角训练数据中图像-网格对的多样性有限。为弥补这一不足，人们已探索使用合成图像。但除了渲染数据与目标数据之间常见的视觉差距影响外，合成数据驱动的多视角估计器还存在对训练期间采样的相机视角分布的过拟合问题，该分布通常与真实世界分布不同。为应对这两大挑战，我们提出了一种新颖的基于仿真的多视角人体网格恢复训练流程，其（a）依赖于对合成到真实域差距更具鲁棒性的中间 2D 表示；（b）利用可学习标定与三角测量来适应更多样化的相机设置；（c）在规范 3D 空间中渐进聚合多视角信息以消除 2D 表示中的歧义。通过大量基准测试，我们证明了所提方案尤其在未见过的真实场景中的优越性。
引用
@article{arxiv.2212.05223,
title = {Progressive Multi-view Human Mesh Recovery with Self-Supervision},
author = {Xuan Gong and Liangchen Song and Meng Zheng and Benjamin Planche and Terrence Chen and Junsong Yuan and David Doermann and Ziyan Wu},
journal= {arXiv preprint arXiv:2212.05223},
year = {2022}
}
备注
Accepted by AAAI2023