基于双分支图变换器的 3D 人体网格视频重建
计算机视觉与模式识别
2024-12-03 v1
摘要
来自单目视频的人体网格重建（HMR）在人机交互和协作方面发挥着重要作用。然而，现有的基于视频的人体网格重建方法在准确重建与平滑运动之间存在权衡。这些方法基于循环神经网络（RNN）或注意力机制设计网络，以提取局部时序相关性或全局时序依赖性，但缺乏互补的长期信息和局部细节限制了其性能。为此，我们提出了一种名为 DGTR 的双分支图变换器网络，用于从视频进行 3D 人体网格重建。DGTR 采用包含全局运动注意力（GMA）分支和局部细节精炼（LDR）分支的双分支网络，平行提取长期依赖性和局部关键信息，从而帮助建模全局人体运动和局部人体细节（例如局部运动、微小动作）。具体而言，GMA 使用全局变换器来建模长期人体运动。LDR 将调制图卷积网络和变换器框架结合起来，以聚合相邻帧中的局部信息并提取人体细节的关键信息。实验表明，我们的 DGTR 在重建精度方面优于最先进的基于视频的方法，并保持具竞争力的运动平滑性。此外，DGTR 使用的参数更少且计算量更小，这验证了所提出 DGTR 的有效性和效率。代码已公开于 https://github.com/TangTao-PKU/DGTR。
引用
@article{arxiv.2412.01179,
title = {Dual-Branch Graph Transformer Network for 3D Human Mesh Reconstruction from Video},
author = {Tao Tang and Hong Liu and Yingxuan You and Ti Wang and Wenhao Li},
journal= {arXiv preprint arXiv:2412.01179},
year = {2024}
}
备注
Accepted by IROS 2024. Project page: https://github.com/TangTao-PKU/DGTR