通过先验知识引导的图内和图间聚合实现手-物体交互场景下的3D手部重建
计算机视觉与模式识别
2024-03-05 v1
摘要
近年来，3D手部重建在人机协作中受到更多关注，特别是手-物体交互场景。然而，由于交互引起的严重手部遮挡，仍然存在巨大挑战，包括准确性和物理合理性的平衡、模型参数的高度非线性映射以及遮挡特征增强。为了克服这些问题，我们提出了一种3D手部重建网络，结合了基于模型和无模型方法的优点，以平衡手-物体交互场景的准确性和物理合理性。首先，我们提出了一种直接从2D关节点回归MANO姿态参数的新模块，避免了从抽象图像特征进行高度非线性映射的过程，并且不再依赖于准确的3D关节点。此外，我们进一步提出了一种由MANO引导的顶点-关节点互图注意力模型，用于联合优化手部网格和关节点，该模型分别建模顶点-顶点和关节点-关节点之间的依赖关系，并捕获顶点-关节点之间的相关性，以聚合图内和图间节点特征。实验结果表明，我们的方法在最近的基准数据集HO3DV2和Dex-YCB上取得了有竞争力的性能，并优于所有纯基于模型和纯无模型的方法。
引用
@article{arxiv.2403.01733,
title = {3D Hand Reconstruction via Aggregating Intra and Inter Graphs Guided by Prior Knowledge for Hand-Object Interaction Scenario},
author = {Feng Shuang and Wenbo He and Shaodong Li},
journal= {arXiv preprint arXiv:2403.01733},
year = {2024}
}