Narrator：基于关系推理实现自然人—场景交互生成控制
计算机视觉与模式识别
2023-03-17 v1
摘要
自然人—场景交互（HSI）生成的可控性在 VR/AR 内容创作、以人为中心的人工智能等多个领域具有重要作用。然而，现有方法在可控性上不自然、不直观，严重限制了其实用性。因此，我们关注一项极具挑战性的任务：从文本描述自然且可控地生成真实多样的 HSI。从人类认知出发，理想的生成模型应正确推理空间关系与交互动作。为此，我们提出 Narrator，一种基于关系推理的新型生成方法，采用条件变分自编码器，在给定 3D 场景与文本描述下实现自然可控生成。同时，我们基于场景图分别建模 3D 场景与文本描述中的全局与局部空间关系，并引入部件级动作机制，将交互表示为原子化身体部件状态。特别地，得益于我们的关系推理，我们进一步提出一种简洁而有效的多人生成策略，这是可控多人场景交互生成的首次探索。大量实验与感知研究表明，Narrator 能够可控地生成多样交互，并显著优于现有工作。代码与数据集将公开以供研究使用。
引用
@article{arxiv.2303.09410,
title = {Narrator: Towards Natural Control of Human-Scene Interaction Generation via Relationship Reasoning},
author = {Haibiao Xuan and Xiongzheng Li and Jinsong Zhang and Hongwen Zhang and Yebin Liu and Kun Li},
journal= {arXiv preprint arXiv:2303.09410},
year = {2023}
}
备注
Project page: http://cic.tju.edu.cn/faculty/likun/projects/Narrator