BiHand：利用多级对剖沙漏网络恢复手部网格
计算机视觉与模式识别
2020-08-13 v1
摘要
3D 手部估计一直是计算机视觉中的长期研究课题。近期趋势不仅旨在估计 3D 手部关节位置，还旨在恢复网格模型。然而，从单张 RGB 图像实现这些目标仍具挑战性。本文中，我们引入一种端到端可学习模型 BiHand，其由三个级联阶段组成，即 2D 播种阶段、3D 提升阶段和网格生成阶段。在 BiHand 输出处，将利用网络预测的关节旋转和形状参数恢复完整手部网格。在每个阶段内部，BiHand 采用一种新颖的对剖设计，允许网络在单次前向传播中封装两条紧密相关信息（如 2D 播种阶段的 2D 关键点和轮廓、3D 提升阶段的 3D 关节和深度图、网格生成阶段的关节旋转和形状参数）。由于信息代表不同几何或结构细节，对剖数据流可促进优化并增加鲁棒性。为定量评估，我们在两个公开基准（即 Rendered Hand Dataset (RHD) 和 Stereo Hand Pose Tracking Benchmark (STB)）上开展实验。大量实验表明，我们的模型相比 SOTA 方法可实现更优精度，并能在若干严苛条件下生成逼真的 3D 手部网格。
引用
@article{arxiv.2008.05079,
title = {BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks},
author = {Lixin Yang and Jiasen Li and Wenqiang Xu and Yiqun Diao and Cewu Lu},
journal= {arXiv preprint arXiv:2008.05079},
year = {2020}
}
备注
To appear on BMVC2020