Spectral Graphormer：基于谱图Transformer的多视角彩色图像第一人称双手重建
计算机视觉与模式识别
2023-08-23 v1
摘要
我们提出了一种基于Transformer的新框架，可从多视角RGB图像重建两只高保真手部。与现有的手部姿态估计方法（通常训练深度网络从单张RGB图像回归手部模型参数）不同，我们考虑更具挑战性的设定：从第一人称视角直接以高分辨率回归带延伸前臂的双手绝对根姿态。由于现有数据集要么不适用于第一人称视角，要么缺乏背景变化，我们创建了一个具有多样场景的大规模合成数据集，并采集了来自多标定相机设置的真实数据集，以验证我们提出的多视角图像特征融合策略。为使重建在物理上合理，我们提出两种策略：(i) 一种由粗到细的谱图卷积解码器，在网格上采样过程中平滑网格；(ii) 推理时基于优化的细化阶段，以防止自穿透。通过大量定量与定性评估，我们表明该框架能够生成逼真的双手重建，并展示了合成训练模型对真实数据的泛化能力，以及实时AR/VR应用。
引用
@article{arxiv.2308.11015,
title = {Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images},
author = {Tze Ho Elden Tse and Franziska Mueller and Zhengyang Shen and Danhang Tang and Thabo Beeler and Mingsong Dou and Yinda Zhang and Sasa Petrovic and Hyung Jin Chang and Jonathan Taylor and Bardia Doosti},
journal= {arXiv preprint arXiv:2308.11015},
year = {2023}
}
备注
Accepted to ICCV 2023