从单目图像恢复三维人体网格:综述
计算机视觉与模式识别
2024-01-03 v6 图形学
摘要
从单目图像估计人体姿态与形状是计算机视觉中一个长期存在的问题。自统计身体模型发布以来,三维人体网格恢复已引起更广泛的关注。以获取得良好对齐且物理合理的网格结果为同一目标,已发展出两种范式来克服 2D 到 3D 提升过程中的挑战:i) 基于优化的范式,其中利用不同的数据项与正则项作为优化目标;以及 ii) 基于回归的范式,其中采用深度学习技术以端到端方式解决该问题。同时,持续的 efforts 致力于提升广泛数据集上三维网格标签的质量。尽管过去十年取得了显著进展,该任务仍因灵活的身体运动、多样的外观、复杂的环境以及不足的野外标注而具挑战性。据我们所知,这是首篇聚焦于单目三维人体网格恢复任务的综述。我们从身体模型的介绍开始,然后通过深入分析其优势与弱点来详述恢复框架与训练目标。我们还总结了数据集、评估指标与基准结果。文末讨论了开放问题与未来方向,希望激励研究人员并促进其在该领域的研究。定期更新的项目页面见 https://github.com/tinatiansjz/hmr-survey。
引用
@article{arxiv.2203.01923,
title = {Recovering 3D Human Mesh from Monocular Images: A Survey},
author = {Yating Tian and Hongwen Zhang and Yebin Liu and Limin Wang},
journal= {arXiv preprint arXiv:2203.01923},
year = {2024}
}
备注
Published in IEEE TPAMI, Survey on monocular 3D human mesh recovery, Project page: https://github.com/tinatiansjz/hmr-survey