MACS：质量条件化的3D手部与物体运动合成
计算机视觉与模式识别
2023-12-25 v1 图形学
摘要
物体的物理属性（如质量）显著影响我们如何用手操作它。令人惊讶的是，迄今为止的 3D 运动合成工作忽略了这一方面。为了提高合成的 3D 手部与物体运动的自然度，本研究提出了 MACS，这是首个质量条件化的 3D 手部与物体运动合成方法。我们的方法基于级联扩散模型，生成能够根据物体质量和交互类型进行合理调整的交互动作。MACS 还接受手动绘制的 3D 物体轨迹作为输入，并合成以物体质量为条件的自然 3D 手部运动。这种灵活性使得 MACS 可用于各种下游应用，例如为 ML 任务生成合成训练数据、为图形工作流快速生成手部动画，以及为计算机游戏生成角色交互。我们通过实验表明，小规模数据集足以使 MACS 在训练期间未见过的插值和外推物体质量之间进行合理泛化。此外，得益于由我们的表面接触合成模型 ConNet 生成的质量条件化接触标签，MACS 对未见物体表现出中等程度的泛化能力。我们全面的用户研究证实，合成的 3D 手部与物体交互具有高度合理性和真实性。
引用
@article{arxiv.2312.14929,
title = {MACS: Mass Conditioned 3D Hand and Object Motion Synthesis},
author = {Soshi Shimada and Franziska Mueller and Jan Bednarik and Bardia Doosti and Bernd Bickel and Danhang Tang and Vladislav Golyanik and Jonathan Taylor and Christian Theobalt and Thabo Beeler},
journal= {arXiv preprint arXiv:2312.14929},
year = {2023}
}