DiffHand：基于扩散模型的端到端手部网格重建
计算机视觉与模式识别
2023-05-24 v1
摘要
从单目图像进行手部网格重建是一项具有挑战性的任务，因其存在深度模糊与严重遮挡，单目图像与手部网格之间仍存在非唯一映射。为此，我们开发了 DiffHand，这是首个将手部网格重建视为去噪扩散过程的基于扩散的框架。我们的一阶段流程在正向过程中利用噪声对中间手部网格的不确定性分布建模。我们重构去噪扩散过程以逐步细化带噪手部网格，并基于图像本身选择最可能正确的网格，而非依赖预先提取的 2D 关节。为更好地建模手部顶点的连通性，我们设计了一种称为跨模态解码器的新型网络模块。在主流基准上的大量实验表明，我们的方法优于最先进的（SOTA）手部网格重建方法，在 Freihand 测试集上取得 5.8mm PA-MPJPE，在 DexYCB 测试集上取得 4.98mm PA-MPJPE。
引用
@article{arxiv.2305.13705,
title = {DiffHand: End-to-End Hand Mesh Reconstruction via Diffusion Models},
author = {Lijun Li and Li'an Zhuo and Bang Zhang and Liefeng Bo and Chen Chen},
journal= {arXiv preprint arXiv:2305.13705},
year = {2023}
}