THOR-Net：基于 GraFormer 的端到端自监督真实双手与物体重建
计算机视觉与模式识别
2022-10-26 v1
摘要
双手与物体交互的真实重建是一个崭新且具挑战性的问题，对构建个性化虚拟现实与增强现实环境至关重要。图卷积网络（GCNs）通过将手姿态与形状建模为图，得以保留其拓扑结构。本文中，我们提出 THOR-Net，其结合 GCNs、Transformer 与自监督之力，从单张 RGB 图像真实重建双手与一物体。我们的网络包含两阶段：即特征提取阶段与重建阶段。在特征提取阶段，Keypoint RCNN 用于从单目 RGB 图像提取 2D 姿态、特征图、热图与边界框。此后，该 2D 信息被建模为两个图并传入重建阶段的两个分支。形状重建分支利用我们新颖的粗到细 GraFormer 形状网络估计双手与一物体的网格。手与物体的 3D 姿态由另一分支使用 GraFormer 网络重建。最后，自监督光度损失用于直接回归手网格中每个顶点的真实纹理。我们的方法在 HO-3D 数据集上取得手部形状估计的 State-of-the-art 结果（10.0mm），超越 ArtiBoost（10.8mm）。在具挑战性的双手与物体（H2O）数据集上，其亦以左手姿态 5mm、右手姿态 1mm 的优势超越其他方法。
引用
@article{arxiv.2210.13853,
title = {THOR-Net: End-to-end Graformer-based Realistic Two Hands and Object Reconstruction with Self-supervision},
author = {Ahmed Tawfik Aboukhadra and Jameel Malik and Ahmed Elhayek and Nadia Robertini and Didier Stricker},
journal= {arXiv preprint arXiv:2210.13853},
year = {2022}
}
备注
To be published in WACV2023