NIFTY：用于引导式人体运动合成的神经物体交互场
计算机视觉与模式识别
2023-07-17 v1
摘要
我们致力于解决生成场景中人与物体交互的真实 3D 运动的问题。我们的核心思想是创建一个附着于特定物体的神经交互场，该场以人体姿态为输入，输出到有效交互流形的距离。该交互场引导物体条件化的人体运动扩散模型的采样，以鼓励合理的接触与功能语义。为支持数据稀缺的交互，我们提出了一种自动化合成数据流水线。为此，我们用从有限动作捕捉数据中提取的交互特定锚定姿态，来种子化一个具有人体运动基础先验的预训练运动模型。使用我们在生成的合成数据上训练的引导式扩散模型，我们合成了针对若干物体的坐下与举起动作的真实运动，在运动质量和成功动作完成度上优于替代方法。我们将我们的框架称为 NIFTY：用于轨迹合成（Trajectory sYnthesis）的神经交互场（Neural Interaction Fields）。
引用
@article{arxiv.2307.07511,
title = {NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis},
author = {Nilesh Kulkarni and Davis Rempe and Kyle Genova and Abhijit Kundu and Justin Johnson and David Fouhey and Leonidas Guibas},
journal= {arXiv preprint arXiv:2307.07511},
year = {2023}
}
备注
Project Page with additional results available https://nileshkulkarni.github.io/nifty