三维室内场景中多样化人体运动的合成
计算机视觉与模式识别
2023-08-22 v3
摘要
我们提出一种新颖方法，用能够以真实方式在环境中导航并与物体交互的虚拟人来填充 3D 室内场景。现有方法依赖于包含所捕获人体运动及其交互的 3D 场景的训练序列。然而，此类交互数据成本高昂、难以捕获，且几乎无法覆盖复杂环境中所有合理的人-场景交互。为应对这些挑战，我们提出一种基于强化学习的方法，使虚拟人能够由学习到的运动控制策略驱动，在 3D 场景中真实且自主地导航并与物体交互。运动控制策略采用潜在运动动作空间，其对应于真实运动基元，并从大规模动作捕获数据使用强大的生成运动模型学习得到。对于 3D 环境中的导航，我们提出一种具有新颖状态和奖励设计的场景感知策略以进行碰撞避免。结合基于导航网格的路径寻找算法生成中间路点，我们的方法能够合成在 3D 室内场景中导航并避障的多样化人体运动。为生成细粒度人-物体交互，我们使用基于标记的身体表示精心策划交互目标引导，并利用基于有符号距离场（SDF）的特征来编码人-场景邻近关系。即使对于具有不同物体形状、朝向、起始身体位置和姿态的分布外测试场景，我们的方法也能合成真实且多样化的人-物体交互（例如坐在椅子上然后站起）。实验结果表明，我们的方法在运动自然度和多样性方面均优于最先进的方法。代码与视频结果见：https://zkf1997.github.io/DIMOS。
引用
@article{arxiv.2305.12411,
title = {Synthesizing Diverse Human Motions in 3D Indoor Scenes},
author = {Kaifeng Zhao and Yan Zhang and Shaofei Wang and Thabo Beeler and Siyu Tang},
journal= {arXiv preprint arXiv:2305.12411},
year = {2023}
}