组合式 3D 人-物神经动画
计算机视觉与模式识别
2023-04-28 v1 人工智能
机器学习
摘要
人-物交互 (HOIs) 对于以人为中心的场景理解应用（如以人为中心的视觉生成、AR/VR 和机器人技术）至关重要。由于现有方法主要探索捕捉 HOIs，渲染 HOI 仍较少被研究。本文从组合的角度解决了 HOI 动画中的这一挑战，即动画化由新姿态序列驱动的新颖 HOIs，包括新的交互、新的人和新物体。具体而言，我们采用神经人-物形变来基于隐式神经表示对 HOI 动力学进行建模和渲染。为了实现不同人物和物体之间的交互姿态迁移，我们随后设计了一种新的组合条件神经辐射场 (或 CC-NeRF)，它使用潜在码解耦人与物体之间的相互依赖，从而实现对新颖 HOIs 的组合式动画控制。实验表明，所提出的方法能够很好地泛化到各种新颖的 HOI 动画设置。我们的项目页面是 https://zhihou7.github.io/CHONA/
引用
@article{arxiv.2304.14070,
title = {Compositional 3D Human-Object Neural Animation},
author = {Zhi Hou and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2304.14070},
year = {2023}
}
备注
14 pages, 6 figures