从第三人称图像中对被手遮挡容器的可供性分割

视觉可供性分割旨在识别智能体可与物体交互的表面。可供性识别的常见挑战在于这些表面的几何与物理属性多样以及存在遮挡。本文关注被操作该物体的人员手持所造成的物体遮挡问题。为应对这一挑战，我们提出了一种可供性分割模型，利用辅助分支分别处理物体与手部区域。所提模型通过手与物体分割对特征图加权，在手遮挡下学习可供性特征。为训练模型，我们对一个现有数据集中的第三人称（外中心）手持容器混合现实图像标注了视觉可供性。在真实与混合现实图像上的实验表明，我们的模型在可供性分割与泛化能力上均优于现有模型。