HandGCAT：从单目图像中重建抗遮挡的鲁棒三维手部网格
计算机视觉与模式识别
2024-03-14 v1
摘要
我们提出了一种从单目图像中重建三维手部网格的鲁棒且精确的方法。这是一个极具挑战性的问题，因为手部经常被物体严重遮挡。以往的工作常常忽略了二维手部姿态信息，而这些信息包含了与遮挡区域高度相关的手部先验知识。因此，在本工作中，我们提出了一种新颖的三维手部网格重建网络 HandGCAT，它能充分利用手部先验作为补偿信息来增强遮挡区域的特征。具体来说，我们设计了知识引导图卷积（KGC）模块和交叉注意力Transformer（CAT）模块。KGC通过图卷积从二维手部姿态中提取手部先验信息。CAT通过考虑手部先验与遮挡区域之间的高度相关性，将手部先验融合到遮挡区域中。在具有挑战性的手-物遮挡数据集（如 HO3D v2、HO3D v3 和 DexYCB）上进行的大量实验表明，我们的 HandGCAT 达到了最先进的性能。代码可在 https://github.com/heartStrive/HandGCAT 获取。
引用
@article{arxiv.2403.07912,
title = {HandGCAT: Occlusion-Robust 3D Hand Mesh Reconstruction from Monocular Images},
author = {Shuaibing Wang and Shunli Wang and Dingkang Yang and Mingcheng Li and Ziyun Qian and Liuzhen Su and Lihua Zhang},
journal= {arXiv preprint arXiv:2403.07912},
year = {2024}
}
备注
6 pages, 4 figures, ICME-2023 conference paper