MotioNet：基于骨架一致性的单目视频3D人体运动重建
计算机视觉与模式识别
2024-05-14 v1 图形学
机器学习
摘要
我们引入了MotioNet，这是一种直接从单目视频重建3D人体骨架运动的深度神经网络。以往的方法依赖绑定或逆运动学（IK）将一致的骨架与时间连贯的关节旋转相关联，而我们的方法是首个直接输出运动学骨架的数据驱动方法，运动学骨架是一种完整且常用的运动表示。我们方法的核心在于一个嵌入运动学先验的深度神经网络，它将2D关节位置序列分解为两个独立的属性：一个由骨骼长度编码的单一、对称的骨架，以及一系列与全局根节点位置和足部接触标签相关联的3D关节旋转。这些属性被输入到集成的正向运动学（FK）层中，输出3D位置并与真实值进行比较。此外，对恢复的旋转速度施加了对抗损失，以确保它们位于自然关节旋转的流形上。我们方法的关键优势在于它学会直接从训练数据中推断自然关节旋转，而不是假设一个底层模型，或使用与数据无关的IK求解器从关节位置进行推断。我们表明，强制执行单一一致的骨架以及时间连贯的关节旋转约束了解空间，从而更稳健地处理自遮挡和深度模糊。
引用
@article{arxiv.2006.12075,
title = {MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency},
author = {Mingyi Shi and Kfir Aberman and Andreas Aristidou and Taku Komura and Dani Lischinski and Daniel Cohen-Or and Baoquan Chen},
journal= {arXiv preprint arXiv:2006.12075},
year = {2024}
}
备注
Accepted to Transactions on Graphics (ToG) 2020. Project page: {https://rubbly.cn/publications/motioNet} Video: {https://youtu.be/8YubchlzvFA}