H2O：用于第一人称交互识别的双手操作物体框架

我们提出了一个利用无标记的双手操作物体的三维标注进行第一人称交互识别的综合框架。为此，我们提出了一种创建用于第一人称三维交互识别的统一数据集的方法。我们的方法生成双手的三维姿态和被操作物体的六维姿态的标注，以及每一帧的交互标签。我们的数据集称为 H2O（2 Hands and Objects，双手与物体），提供同步的多视角 RGB-D 图像、交互标签、物体类别、左右手的真实三维姿态、六维物体姿态、真实相机姿态、物体网格和场景点云。据我们所知，这是首个利用左右双手操作物体的姿态来研究第一人称动作，并为第一人称三维交互识别提供空前细节水平的基准。我们进一步提出了通过联合从 RGB 图像估计双手的三维姿态和被操作物体的六维姿态来预测交互类别的方法。我们的方法通过学习预测交互的图卷积网络的拓扑结构，对双手与物体之间的相互依赖和各自内部依赖进行建模。我们表明，由该数据集辅助的我们的方法为联合手-物姿态估计建立了强基线，并在第一人称交互识别上达到了最先进的精度。