全身铰接式人-物交互
计算机视觉与模式识别
2023-12-19 v3
摘要
对 3D HOI 的细粒度捕捉促进了人类活动理解，并推动了下游视觉任务，包括动作识别、整体场景重建和人体运动合成。尽管其意义重大，现有工作大多假设人类仅使用少数身体部位与刚性物体交互，限制了其适用范围。在本文中，我们探讨了 f-AHOI 这一具有挑战性的问题，即整个人体与由可动关节连接部件的铰接物体进行交互。我们提出了 CHAIRS，一个大规模动作捕捉的 f-AHOI 数据集，包含 16.2 小时内 46 名参与者与 81 个铰接及刚性可坐物体之间的多样化交互。CHAIRS 提供了整个交互过程中人体和铰接物体的 3D 网格，以及真实且物理上合理的全身交互。我们通过物体姿态估计展示了 CHAIRS 的价值。通过学习 HOI 中的几何关系，我们设计了首个利用人体姿态估计来解决全身交互期间铰接物体姿态和形状估计的模型。给定一张图像和估计的人体姿态，我们的模型首先重建物体的姿态和形状，然后根据学习到的交互先验优化重建结果。在两种评估设置下（例如，已知或未知物体的几何/结构知识），我们的模型均显著优于基线。我们希望 CHAIRS 能促进社区向更细粒度的交互理解发展。我们将公开数据/代码。
引用
@article{arxiv.2212.10621,
title = {Full-Body Articulated Human-Object Interaction},
author = {Nan Jiang and Tengyu Liu and Zhexuan Cao and Jieming Cui and Zhiyuan zhang and Yixin Chen and He Wang and Yixin Zhu and Siyuan Huang},
journal= {arXiv preprint arXiv:2212.10621},
year = {2023}
}