OccRobNet：面向遮挡场景的精准3D手-物体姿态估计网络
计算机视觉与模式识别
2025-03-28 v1 人机交互
摘要
手部姿态估计中遮挡是一项具有挑战性的问题。当手部与物体交互或两只手相互作用时，这一问题尤为突出。过去的研究在这些被遮挡区域几乎未予关注，但这些区域包含对于3D手部姿态估计至关重要且有益的重要信息。因此，本文提出一种针对RGB输入的3D手-物体姿态估计的遮挡鲁棒且精准的方法。该方法首先使用基于卷积神经网络的模型定位手关节，然后通过提取上下文信息对其进行细化。自注意力Transformer随后识别特定关节及手部身份。这有助于模型识别特定关节所属的手部，从而在遮挡区域检测到关节。随后，这些带有手部身份的关节用于通过交叉注意力机制估计姿态。通过识别遮挡区域的关节，该网络在遮挡鲁棒性方面取得显著提升。因此，该网络在InterHand2.6M、HO3D和HO3D数据集上实现了最先进的性能。
引用
@article{arxiv.2503.21723,
title = {OccRobNet : Occlusion Robust Network for Accurate 3D Interacting Hand-Object Pose Estimation},
author = {Mallika Garg and Debashis Ghosh and Pyari Mohan Pradhan},
journal= {arXiv preprint arXiv:2503.21723},
year = {2025}
}
备注
Accepted in NATIONAL CONFERENCE ON COMMUNICATIONS (NCC) 2025