基于空间占用重新审视人-场景交互
计算机视觉与模式识别
2024-07-16 v2 人工智能
图形学
摘要
人-场景交互(HSI)生成是一项具有挑战性的任务,对各种下游任务至关重要。然而,其主要障碍之一是数据规模有限。同时采集人类与3D环境的高质量数据难以获取,导致数据多样性与复杂性受限。在本文中,我们从抽象的物理视角指出,与场景的交互本质上是对场景空间占用的交互,这引导我们提出人-占用交互的统一新视角。通过将纯运动序列视为人类与不可见场景占用交互的记录,我们可以将仅含运动的数据聚合为大规模配对的人-占用交互数据库:运动占用库(MOB)。因此,对带有高质量场景扫描的昂贵配对运动-场景数据集的需求可以得到大幅缓解。基于这种人-占用交互的统一新视角,我们提出了一种单一运动控制器,使其能够在给定周围占用的情况下达到目标状态。该控制器在MOB上经过复杂占用布局(对人类运动要求严苛)的训练后,能够处理拥挤场景,并良好泛化至复杂度有限的常规场景(如普通客厅)。在无GT 3D场景进行训练的情况下,我们的方法能够在包括静态和动态场景在内的多种场景中生成逼真且稳定的HSI运动。项目页面位于 https://foruck.github.io/occu-page/。
引用
@article{arxiv.2312.02700,
title = {Revisit Human-Scene Interaction via Space Occupancy},
author = {Xinpeng Liu and Haowen Hou and Yanchao Yang and Yong-Lu Li and Cewu Lu},
journal= {arXiv preprint arXiv:2312.02700},
year = {2024}
}
备注
To appear in ECCV 2024. The first two authors contributed equally. Yong-Lu Li is the corresponding author. Project page: https://foruck.github.io/occu-page/