基于隐式神经表示的任务导向人-物交互生成
计算机视觉与模式识别
2023-11-07 v2
摘要
数字人体运动合成是一个充满活力的研究领域，在电影、AR/VR 和视频游戏中均有应用。尽管已有方法被提出以生成自然真实的人体运动，但大多数仅关注人体建模而很大程度上忽略物体运动。在仿真中生成任务导向的人-物交互运动具有挑战性。对于使用物体的不同意图，人体会执行各种运动，这要求人体首先接近物体，然后使物体随人体一致运动而非保持静止。此外，为了部署于下游应用，所合成的运动期望在长度上具备灵活性，以提供针对多种用途个性化预测运动的选项。为此，我们提出 TOHO：基于隐式神经表示的任务导向人-物交互生成，其在仅给定任务类型、物体和起始人体状态的情况下，生成完整的人-物交互运动以执行特定任务。TOHO 分三步生成人-物运动：1）首先根据任务类型和物体信息估计执行任务的关键帧姿态；2）然后填充关键帧并生成连续运动；3）最后应用紧凑闭式物体运动估计生成物体运动。我们的方法生成的连续运动仅由时间坐标参数化，从而允许通过对时间坐标向量进行设计来对序列进行任意帧的上采样或下采样并调整运动速度。我们从定性和定量两方面证明了方法的有效性。本工作向通用人-场景交互仿真又迈进了一步。
引用
@article{arxiv.2303.13129,
title = {Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations},
author = {Quanzhou Li and Jingbo Wang and Chen Change Loy and Bo Dai},
journal= {arXiv preprint arXiv:2303.13129},
year = {2023}
}
备注
To be published in WACV 2024