EgoChoir：从仰视角捕获 3D 人体-物体交互区域
计算机视觉与模式识别
2024-10-15 v2
摘要
理解仰视角的人体-物体交互（HOI）是人类感知的基本方面，促进了诸如 AR/VR 和具身 AI 等应用。对于仰视角 HOI，除了感知语义（"what" 交互正在发生）之外，捕获交互在 3D 空间中具体出现的 "where" 也至关重要，这将感知与操作链接起来。现有方法主要依赖 HOI 的观察来从远视角捕获交互区域。然而，仰视角中 interacting 双方的观察不完整，导致视觉观察与交互内容之间的模糊性，影响了其效果。从仰视角来看，人类将视觉皮层、小脑和大脑整合在一起，内化自己的意图和对物体的交互概念，使即使在交互区域看不见的情况下也能预先构思交互并进行行为。鉴于此，我们提出了调和视觉外观、头部运动和 3D 物体来挖掘物体交互概念和主体意图，从而联合推断 3D 人体接触和物体可达性。为实现这一目标，我们提出了 EgoChoir，将物体结构与 appearance 和头部运动中固有的交互情境联系起来，以揭示物体可达性，进而利用它来建模人体接触。此外，还采用了梯度调制，以在各种仰视场景中捕获交互区域。此外，对 Ego-Exo4D 和 GIMO 收集的仰视视频进行 3D 接触和可达性标注以支持该任务。对它们上的大量实验表明，EgoChoir 的有效性和优势。
引用
@article{arxiv.2405.13659,
title = {EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views},
author = {Yuhang Yang and Wei Zhai and Chengfeng Wang and Chengjun Yu and Yang Cao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2405.13659},
year = {2024}
}
备注
NeurIPS2024, project: https://yyvhang.github.io/EgoChoir/