AvatarPoser：基于稀疏运动感知的关节化全身姿态跟踪
计算机视觉与模式识别
2022-07-29 v1 人工智能
图形学
人机交互
摘要
当今的混合现实头戴式显示器可跟踪用户在世界空间中的头部姿态以及用户的双手，用于增强现实和虚拟现实场景中的交互。虽然这足以支持用户输入，但不幸的是将用户的虚拟表征限制在了上半身。因此，当前系统求助于悬浮化身，其局限性在协作环境中尤为明显。为了从稀疏输入源估计全身姿态，先前的工作在骨盆或下半身加入了额外的跟踪器和传感器，这增加了设置复杂度并限制了在移动场景中的实际应用。在本文中，我们提出 AvatarPoser，这是首个仅利用用户头部和手部的运动输入即可在世界坐标系中预测全身姿态的基于学习的方法。我们的方法基于 Transformer 编码器从输入信号中提取深度特征，并将全局运动与学习到的局部关节朝向解耦以引导姿态估计。为了获得类似于动作捕捉动画的精确全身运动，我们使用带逆运动学的优化例程来细化手臂关节位置，以匹配原始跟踪输入。在我们的评估中，AvatarPoser 在大型动作捕捉数据集（AMASS）的评估中取得了新的 SOTA 结果。同时，我们方法的推理速度支持实时运行，为 Metaverse 应用提供实用的接口以支持整体化身控制与表征。
引用
@article{arxiv.2207.13784,
title = {AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing},
author = {Jiaxi Jiang and Paul Streli and Huajian Qiu and Andreas Fender and Larissa Laich and Patrick Snape and Christian Holz},
journal= {arXiv preprint arXiv:2207.13784},
year = {2022}
}
备注
Accepted by ECCV 2022, Code: https://github.com/eth-siplab/AvatarPoser