MM-Hand：用于 3D 手部姿态合成的 3D 感知多模态引导手部生成网络
计算机视觉与模式识别
2020-10-06 v1 多媒体
摘要
从单目 RGB 图像估计 3D 手部姿态重要但具挑战性。一种解决方案是在带有精确 3D 手部关键点标注的大规模 RGB 手部图像上训练。然而，这在实际中过于昂贵。作为替代，我们开发了一种基于学习的方法，在 3D 姿态信息引导下合成逼真、多样且保持 3D 姿态的手部图像。我们提出了一种 3D 感知多模态引导手部生成网络（MM-Hand），以及一种新颖的基于几何的课程学习策略。我们广泛的实验结果表明，MM-Hand 生成的带 3D 标注图像在定性与定量上均优于现有方案。此外，增强数据能持续提升 SOTA（state-of-the-art）3D 手部姿态估计器在两个基准数据集上的定量性能。代码将发布于 https://github.com/ScottHoang/mm-hand。
引用
@article{arxiv.2010.01158,
title = {MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis},
author = {Zhenyu Wu and Duc Hoang and Shih-Yao Lin and Yusheng Xie and Liangjian Chen and Yen-Yu Lin and Zhangyang Wang and Wei Fan},
journal= {arXiv preprint arXiv:2010.01158},
year = {2020}
}
备注
Accepted by ACM Multimedia 2020