HMD-NeMo：基于稀疏观测的在线三维虚拟人运动生成
计算机视觉与模式识别
2023-08-23 v1
摘要
生成既合理又准确的全身虚拟人运动，是混合现实场景中沉浸式体验质量的关键。头戴式设备（HMDs）通常仅提供少量输入信号，例如头部与双手的 6-DoF。近来，不同方法在仅给定头部与双手信号下生成全身运动方面取得了令人印象深刻的性能。然而，据我们所知，所有现有方法都依赖于双手的完全可见性。虽然在使用运动控制器时情况如此，但相当比例的混合现实体验不涉及运动控制器，而是依赖以自我为中心的手部追踪。这由于 HMD 受限的视场引入了手部部分可见性的挑战。在本文中，我们提出了首个统一方法 HMD-NeMo，其即使在双手可能仅部分可见时也能解决合理且准确的全身运动生成问题。HMD-NeMo 是一个轻量级神经网络，以在线与实时方式预测全身运动。HMD-NeMo 的核心是具有新颖时间自适应掩码令牌的时空编码器，其在缺乏手部观测时鼓励合理运动。我们对 HMD-NeMo 中不同组件的影响进行了广泛分析，并通过我们的评估在 AMASS 数据集上引入了新 state-of-the-art。
引用
@article{arxiv.2308.11261,
title = {HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations},
author = {Sadegh Aliakbarian and Fatemeh Saleh and David Collier and Pashmina Cameron and Darren Cosker},
journal= {arXiv preprint arXiv:2308.11261},
year = {2023}
}
备注
Accepted at ICCV 2023