双手胜过单手：通过占据网络解决手与手相交问题
计算机视觉与模式识别
2024-04-09 v1
摘要
从图像进行 3D 手部姿态估计引起了文献的极大兴趣，新方法不断提高了整体 3D 精度。当前的一个挑战是解决手与手交互问题，其中自遮挡和手指关节化对估计构成了重大问题。很少有工作应用物理约束来最小化因噪声估计而产生的手部相交。这项工作通过利用占据网络来解决手的相交问题，该网络将手的体积表示为连续流形。这允许我们建模点位于手内部的概率分布。我们设计了一个相交损失函数来最小化手与点相交的可能性。此外，我们提出了一种新的手部网格参数化方法，它在许多方面优于常用的 MANO 模型，包括更低的网格复杂度、底层的 3D 骨架提取、水密性等。在基准 InterHand2.6M 数据集上，使用我们的相交损失训练的模型在显著减少手部相交数量的同时降低了平均每关节位置误差，取得了优于 SOTA 的结果。此外，我们在 Re:InterHand 和 SMILE 数据集上展示了 3D 手部抬升的卓越性能，并表明在诸如手语姿态估计等复杂领域中减少了手与手的相交。
引用
@article{arxiv.2404.05414,
title = {Two Hands Are Better Than One: Resolving Hand to Hand Intersections via Occupancy Networks},
author = {Maksym Ivashechkin and Oscar Mendez and Richard Bowden},
journal= {arXiv preprint arXiv:2404.05414},
year = {2024}
}