基于碰撞感知分解优化的单目三维交互手部重建
计算机视觉与模式识别
2021-11-02 v1
摘要
三维交互手部重建对于促进人机交互与人体行为理解至关重要。该领域的先前工作要么依赖深度图像等辅助输入，要么在使用单目单 RGB 图像时只能处理单只手。单手方法在应用于紧密交互的双手时往往生成发生碰撞的手部网格，因为它们无法显式建模两只手之间的交互。本文中，我们首次尝试从单目单 RGB 图像重建三维交互手部。我们的方法能生成兼具精确三维姿态与最小碰撞的三维手部网格。这通过一个两阶段框架得以实现。具体而言，第一阶段采用卷积神经网络生成容忍碰撞但鼓励姿态准确手部网格的粗预测。第二阶段通过一系列分解优化逐步改善碰撞，同时保持三维姿态的精确性。我们仔细研究了分解优化的潜在实现方式，考量效率与精度之间的权衡。在 InterHand2.6M 等大规模数据集上的大量定量与定性结果表明了所提方法的有效性。
引用
@article{arxiv.2111.00763,
title = {Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements},
author = {Yu Rong and Jingbo Wang and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2111.00763},
year = {2021}
}
备注
Accepted to 3DV 2021. Code and demo is available at https://penincillin.github.io/ihmr_3dv2021