STMR：用于手部网格重建的螺旋变换器
计算机视觉与模式识别
2024-07-09 v1
摘要
最近的基于变换器的方法以及螺旋邻域采样技术的进展，显著提升了手部网格重建能力。变换器在捕捉复杂顶点关系方面表现出色，螺旋邻域采样对于利用拓扑结构至关重要。本文巧妙地将螺旋采样集成到变换器架构中，增强了其利用网格拓扑的能力，从而在手部网格重建中实现显著精度提升。STMR 采用单图像编码器以提高模型效率。为增强其信息提取能力，我们设计了多尺度姿态特征提取（MSPFE）模块，有助于提取丰富的姿态特征，从而提升模型性能。此外，提出的预定义姿态到顶点提升（PPVL）方法改进了顶点特征表示，进一步提升了重建性能。在 FreiHAND 数据集上的大量实验表明，STMR 在与类似主干方法之间的比较中实现了超越状态的性能和卓越的推理速度，展现了其效率与效果。代码已公开于 https://github.com/SmallXieGithub/STMR。
引用
@article{arxiv.2407.05967,
title = {STMR: Spiral Transformer for Hand Mesh Reconstruction},
author = {Huilong Xie and Wenwei Song and Wenxiong Kang and Yihong Lin},
journal= {arXiv preprint arXiv:2407.05967},
year = {2024}
}