基于单张RGB图像的端到端弱监督单阶段多手三维网格重建
计算机视觉与模式识别
2023-05-09 v3
摘要
在本文中，我们考虑从单张二维图像中同时定位并恢复多只手的具有挑战性的任务。以往研究或聚焦于单手重建，或以多阶段方式解决该问题。此外，传统的两阶段流程首先检测手部区域，然后从每个裁剪块中估计三维手姿。为减少预处理与特征提取中的计算冗余，我们首次提出一种简洁而高效的多手重建单阶段流程。具体而言，我们设计了一种多头自编码器结构，其中每个头网络共享同一特征图并分别输出手中心、姿态与纹理。此外，我们采用弱监督方案以缓解昂贵的真实世界三维数据标注负担。为此，我们提出了一系列由阶段式训练方案优化的损失，其中基于公开的单手数据集生成了具有二维标注的多手数据集。为了进一步提高弱监督模型的精度，我们在单手与多手设定下均采用若干特征一致性约束。具体而言，从局部特征估计的每只手的关键点应与从全局特征预测的重新投影点一致。在包括 FreiHAND、HO3D、InterHand2.6M 和 RHD 在内的公开基准上的大量实验表明，我们的方法在弱监督与全监督两种方式下均优于最先进的基于模型的方法。代码与模型可在 {https://github.com/zijinxuxu/SMHR} 获取。
引用
@article{arxiv.2204.08154,
title = {End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image},
author = {Jinwei Ren and Jianke Zhu and Jialiang Zhang},
journal= {arXiv preprint arXiv:2204.08154},
year = {2023}
}
备注
Computer Vision and Image Understanding