图视角下基于稀疏传感的全身运动重建
计算机视觉与模式识别
2024-05-14 v1
摘要
从稀疏传感器数据估计 3D 全身姿态是一项关键技术，用于增强现实和虚拟现实中逼真人体运动的重建。然而，将稀疏传感器信号转化为全面的人体运动仍然是一个挑战，因为常见 VR 系统中稀疏分布的传感器无法捕捉完整的人体运动。在本文中，我们使用精心设计的身体姿态图（BPG）来表示人体，并将该挑战转化为图缺失节点的预测问题。随后，我们提出了一种基于 BPG 的新型全身运动重建框架。为建立 BPG，节点最初被赋予从稀疏传感器信号中提取的特征。来自不同传感器可识别关节节点的特征被融合，并从时间和空间角度进行处理。时间动力学使用时间金字塔结构捕捉，而关节运动中的空间关系则 informing 空间属性。生成的特征作为 BPG 节点的基础元素。为进一步细化 BPG，节点特征通过 incorporating 反映不同关节关系的边的图神经网络进行更新。我们方法的有效性由达到的最先进性能证明，特别是在下肢运动方面，优于其他基线方法。此外，消融研究验证了我们提出的框架中每个模块的有效性。
引用
@article{arxiv.2401.11783,
title = {Full-Body Motion Reconstruction with Sparse Sensing from Graph Perspective},
author = {Feiyu Yao and Zongkai Wu and Li Yi},
journal= {arXiv preprint arXiv:2401.11783},
year = {2024}
}