无需标记点：无繁琐操作的整体式人体性能捕捉
计算机视觉与模式识别
2024-10-16 v1 图形学
摘要
我们解决了同时对面部、身体和手部进行高精度整体式性能捕捉的问题。电影和游戏制作中使用的动作捕捉技术通常仅独立地捕捉面部、身体或手部，涉及复杂昂贵的硬件以及熟练操作员的大量人工干预。虽然存在基于机器学习的方法来克服这些问题，但它们通常仅支持单个摄像头，往往只处理身体的单个部分，无法产生精确的世界空间结果，并且很少能在特定场景之外泛化。在这项工作中，我们首次提出了一种无需标记点、高质量重建完整人体（包括眼睛和舌头）的技术，且无需任何标定、人工干预或定制硬件。我们的方法能从任意相机阵列产生稳定的世界空间结果，并支持多样的捕捉环境和服装。我们通过一种混合方法实现了这一点，该方法利用了仅在合成数据上训练的机器学习模型以及强大的人体形状和运动参数化模型。我们在多个身体、面部和手部重建基准上评估了我们的方法，并展示了在多样化数据集上具有泛化能力的最先进结果。
引用
@article{arxiv.2410.11520,
title = {Look Ma, no markers: holistic performance capture without the hassle},
author = {Charlie Hewitt and Fatemeh Saleh and Sadegh Aliakbarian and Lohit Petikam and Shideh Rezaeifar and Louis Florentin and Zafiirah Hosenie and Thomas J Cashman and Julien Valentin and Darren Cosker and Tadas Baltrusaitis},
journal= {arXiv preprint arXiv:2410.11520},
year = {2024}
}