将人置于其所：基于可供性感知的人体场景插入
计算机视觉与模式识别
2023-04-28 v1 人工智能
图形学
机器学习
摘要
我们通过提出一种将人真实插入场景的方法来研究推断场景可供性的问题。给定带标记区域的场景图像与人像图像，我们将人插入场景同时尊重场景可供性。我们的模型可推断给定场景上下文的一组真实姿态、对参考人物重新摆姿并协调组合。我们以自监督方式设定该任务，通过学习在视频片段中重新摆姿人体。我们在包含 240 万视频片段的数据集上训练大规模扩散模型，可生成多样合理姿态并尊重场景上下文。基于学到的人-景组合，我们的模型还能在无条件提示下幻觉出真实人物与场景，并支持交互式编辑。定量评估显示，相较先前工作，我们的方法合成出更真实的人体外观与更自然的人-景交互。
引用
@article{arxiv.2304.14406,
title = {Putting People in Their Place: Affordance-Aware Human Insertion into Scenes},
author = {Sumith Kulal and Tim Brooks and Alex Aiken and Jiajun Wu and Jimei Yang and Jingwan Lu and Alexei A. Efros and Krishna Kumar Singh},
journal= {arXiv preprint arXiv:2304.14406},
year = {2023}
}
备注
CVPR 2023. Project page with code: https://sumith1896.github.io/affordance-insertion/