虚拟形象长出双腿：基于扩散模型从稀疏追踪输入生成平滑人体运动
计算机视觉与模式识别
2023-04-19 v1
摘要
随着近期 AR/VR 应用的流行，对 3D 全身虚拟形象的真实且精确控制已成为高度需求的功能。一个特殊挑战是，独立式 HMD（头戴式设备）仅能提供稀疏追踪信号，通常仅限于追踪用户的头部和手腕。虽然该信号对重建上半身运动信息丰富，但下半身未被追踪，必须根据上半身关节提供的有限信息合成。本文中，我们提出 AGRoL，一种新颖的条件扩散模型，专门设计用于在给定稀疏上半身追踪信号下追踪全身。我们的模型基于简单的多层感知机（MLP）架构以及一种用于运动数据的新颖条件机制。它能预测准确且平滑的全身运动，尤其是具有挑战性的下半身运动。与常见扩散架构不同，我们的紧凑架构可实时运行，适用于在线身体追踪应用。我们在 AMASS 动作捕捉数据集上训练和评估模型，并证明我们的方法在生成运动的准确度和平滑度上优于 SOTA 方法。我们通过大量实验和消融研究进一步验证了设计选择。
引用
@article{arxiv.2304.08577,
title = {Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model},
author = {Yuming Du and Robin Kips and Albert Pumarola and Sebastian Starke and Ali Thabet and Artsiom Sanakoyeu},
journal= {arXiv preprint arXiv:2304.08577},
year = {2023}
}
备注
CVPR 2023, project page: https://dulucas.github.io/agrol/