Hand2Face：手部遮挡面部情形的自动合成与识别

人的面部揭示了关于其情感状态的重要信息。尽管在面部表情识别方面已有广泛研究，但现有方法的性能仍受到面部遮挡的挑战。在情感状态识别中，面部遮挡通常被视为噪声而被丢弃。然而，手部遮挡面部可以为识别某些情感状态（如好奇、沮丧和无聊）提供额外信息。该问题未受到关注的原因之一是缺乏既包含手部遮挡面部又包含其他类型遮挡的自然遮挡面部数据。获取情感数据的传统方法耗时且昂贵，这限制了情感计算研究人员只能在小型数据集上工作。这一局限性影响了模型的泛化能力，并使研究人员无法利用在许多领域取得巨大成功但需要大量数据的深度学习最新进展。在本文中，我们首先提出了一种新颖的框架，利用初始的无遮挡面部数据集和独立的手部图像合成自然面部遮挡，从而降低数据收集与标注的高昂成本。随后，我们提出了一种面部遮挡类型识别模型，以区分手部遮挡面部与围巾、头发、眼镜和物体等其他类型的遮挡。最后，我们提出了一个模型来定位手部遮挡面部的情形并识别面部被遮挡的区域。