I'M HOI: 惯性感知的单目三维人-物交互捕捉
计算机视觉与模式识别
2024-04-02 v2
摘要
我们生活在一个被具备丰富感知模态的多样化“智能”设备所包围的世界。便捷地捕捉我们人类与这些物体之间的交互仍具有深远意义。本文提出 I'm-HOI，一种在新颖设定下忠实捕捉人体与物体三维运动的单目方案：使用最少量的 RGB 摄像头与安装于物体上的 IMU。该方法结合了通用运动推断与类别感知的优化。对于前者，我们引入一种整体的人-物追踪方法，以融合 IMU 信号与 RGB 数据流，并逐步恢复人体运动，随后恢复伴随物体的运动。对于后者，我们设计了一个类别感知的运动扩散模型，该模型以原始 IMU 观测值与上一阶段在过参数化表示下的结果为条件。它显著优化了初始结果，并生成生动的身体、手部与物体运动。此外，我们贡献了一个包含真实人体与物体运动、密集 RGB 输入以及丰富物体搭载 IMU 测量值的大型数据集。大量实验证明了 I'm-HOI 在混合捕捉设定下的有效性。我们的数据集和代码将向社区发布。
引用
@article{arxiv.2312.08869,
title = {I'M HOI: Inertia-aware Monocular Capture of 3D Human-Object Interactions},
author = {Chengfeng Zhao and Juze Zhang and Jiashen Du and Ziwei Shan and Junye Wang and Jingyi Yu and Jingya Wang and Lan Xu},
journal= {arXiv preprint arXiv:2312.08869},
year = {2024}
}
备注
Accepted to CVPR 2024. Project page: https://afterjourney00.github.io/IM-HOI.github.io/