MobRecon：基于单目图像的移动端友好手部网格重建
计算机视觉与模式识别
2022-04-01 v2
摘要
本工作中，我们提出一种单视角手部网格重建框架，可同时实现高重建精度、快速推理速度与时序一致性。具体而言，对于2D编码，我们提出轻量且高效的堆叠结构。在3D解码方面，我们提供一种高效的图算子，即深度可分离螺旋卷积。此外，我们提出一种新颖的特征提升模块以弥合2D与3D表示间的差距。该模块以基于热力图的位姿回归（MapReg）块起始，融合热力图编码与位姿回归范式的优点，以提升2D精度与时序一致性。进而，MapReg之后接位姿池化与位姿到顶点提升方法，将2D位姿编码转换为3D顶点的语义特征。总体而言，我们的手部重建框架称为MobRecon，具有可负担的计算成本与微型模型尺寸，在Apple A14 CPU上达到83FPS的高推理速度。在FreiHAND、RHD与HO3Dv2等流行数据集上的大量实验表明，我们的MobRecon在重建精度与时序一致性上取得优越性能。我们的代码公开于https://github.com/SeanChenxy/HandMesh。
引用
@article{arxiv.2112.02753,
title = {MobRecon: Mobile-Friendly Hand Mesh Reconstruction from Monocular Image},
author = {Xingyu Chen and Yufeng Liu and Yajiao Dong and Xiong Zhang and Chongyang Ma and Yanmin Xiong and Yuan Zhang and Xiaoyan Guo},
journal= {arXiv preprint arXiv:2112.02753},
year = {2022}
}