基于齐次 Tanh 变换的遮挡感知深度卷积神经网络用于人脸解析
计算机视觉与模式识别
2024-06-12 v2 机器学习
摘要
人脸解析为每个语义面部组件推断像素级标签图。以往方法通常对未遮挡人脸效果良好，但它们忽视了面部遮挡并忽略了单张人脸之外的一些上下文区域，尤其在 COVID-19 疫情期间面部遮挡已成为常见情形时。受日常生活中光照现象的启发——四盏不同位置的灯比单一中央光源提供更均匀的分布——我们提出一种新颖的齐次 tanh 变换用于图像预处理，其由四个 tanh 变换组成。这些变换将中央视觉与周边视觉融合在一起。我们提出的方法解决了遮挡下人脸解析的困境，并从周围上下文中压缩更多信息。基于齐次 tanh 变换，我们提出了一种用于遮挡人脸解析的遮挡感知卷积神经网络。它结合了 Tanh-极坐标系空间与 Tanh-直角坐标系空间中的信息，能够增强感受野。此外，我们引入了一种遮挡感知损失以聚焦于遮挡区域的边界。该网络简单、灵活，并可端到端训练。为促进未来遮挡人脸解析的研究，我们还贡献了一个新的清洗后人脸解析数据集。该数据集从多个学术或工业数据集中人工净化而来，包括 CelebAMask-HQ、Short-video Face Parsing 和 Helen 数据集，并将公开。实验表明，我们的方法在遮挡下的人脸解析中超越了最先进的方法。
引用
@article{arxiv.2308.15323,
title = {Occlusion-Aware Deep Convolutional Neural Network via Homogeneous Tanh-transforms for Face Parsing},
author = {Jianhua Qiua and Weihua Liu and Chaochao Lin and Jiaojiao Li and Haoping Yu and Said Boumaraf},
journal= {arXiv preprint arXiv:2308.15323},
year = {2024}
}