Transformer 惯性姿态估计器:基于稀疏 IMU 与同步地形生成的实时人体运动重建
计算机视觉与模式识别
2022-12-12 v3 图形学
摘要
从稀疏的一组(例如六个)可穿戴惯性测量单元(IMU)进行实时人体运动重建,提供了一种非侵入且经济高效的动作捕捉方法。由于无法直接从 IMU 获取位置信息,近期工作采用数据驱动方法,利用大型人体运动数据集来解决这一欠定问题。然而,诸如时间一致性、全局与关节运动漂移,以及不同地形上运动类型的多样覆盖等挑战依然存在。我们提出一种新方法,仅用六个 IMU 传感器实时同步估计全身运动并生成合理的已访问地形。我们的方法包含:1. 一个条件 Transformer 解码器模型,通过显式推理预测历史给出一致预测;2. 一个名为“静止身体点”(SBPs)的简单而通用的学习目标,可由 Transformer 模型稳定预测并被解析例程用于纠正关节与全局漂移;3. 一种从含噪 SBP 预测生成正则化地形高度图的算法,其可反过来纠正含噪的全局运动估计。我们在合成与真实 IMU 数据以及实时现场演示上广泛评估了我们的框架,并展示出优于强基线方法的性能。
引用
@article{arxiv.2203.15720,
title = {Transformer Inertial Poser: Real-time Human Motion Reconstruction from Sparse IMUs with Simultaneous Terrain Generation},
author = {Yifeng Jiang and Yuting Ye and Deepak Gopinath and Jungdam Won and Alexander W. Winkler and C. Karen Liu},
journal= {arXiv preprint arXiv:2203.15720},
year = {2022}
}
备注
SIGGRAPH Asia 2022. Video: https://youtu.be/rXb6SaXsnc0. Code: https://github.com/jyf588/transformer-inertial-poser