HandOccNet：一种鲁棒处理遮挡的3D手部网格估计网络
计算机视觉与模式识别
2022-03-29 v1
摘要
手部常被物体严重遮挡，这使得3D手部网格估计颇具挑战。以往工作往往忽视遮挡区域的信息。然而，我们认为遮挡区域与手部具有强相关性，因而能为完整的3D手部网格估计提供极为有益的信息。因此，在本工作中，我们提出了一种新颖的3D手部网格估计网络HandOccNet，它能充分利用遮挡区域的信息作为辅助手段来增强图像特征，并使其更加丰富。为此，我们设计了两个连续的基于Transformer的模块，称为特征注入Transformer（FIT）与自增强Transformer（SET）。FIT通过考虑遮挡区域与手部的相关性将手部信息注入遮挡区域。SET利用自注意力机制精炼FIT的输出。通过将手部信息注入遮挡区域，我们的HandOccNet在包含具有挑战性的手-物遮挡的3D手部网格基准上达到了SOTA性能。代码见：https://github.com/namepllet/HandOccNet。
引用
@article{arxiv.2203.14564,
title = {HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network},
author = {JoonKyu Park and Yeonguk Oh and Gyeongsik Moon and Hongsuk Choi and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2203.14564},
year = {2022}
}
备注
also attached the supplementary material