面向野外人脸解析的 RoI Tanh-极坐标变换网络
计算机视觉与模式识别
2021-05-06 v3
摘要
人脸解析旨在对图像中目标面部的面部部件进行像素级标签预测。现有方法通常依据预处理中计算的边界框从输入图像中裁剪目标人脸，因此只能解析内部面部感兴趣区域（RoIs）。诸如头发等外围区域被忽略，且边界框中部分包含邻近人脸会造成干扰。此外，这些方法仅在近正面肖像图像上训练和评估，因而其在野外情形下的性能尚未被探索。为解决这些问题，本文做出三点贡献。首先，我们引入用于野外人脸解析的 iBugMask 数据集，其包含 21,866 张训练图像和 1,000 张测试图像。训练图像通过对现有数据集进行大姿态人脸增强获得。测试图像经人工标注有 个面部区域，且在尺寸、姿态、表情和背景上存在较大变化。其次，我们提出 RoI Tanh-极坐标变换，该变换在目标边界框引导下将整幅图像扭曲为具有人脸区域与上下文固定比例的 Tanh-极坐标表示。新表示包含原始图像中的所有信息，并允许卷积神经网络（CNNs）中的旋转等变性。第三，我们提出一种称为 HybridBlock 的混合残差表示学习块，其在 Tanh-极坐标空间和 Tanh-笛卡尔空间中均包含卷积层，从而允许 CNNs 中不同形状的感受野。通过大量实验，我们表明所提方法提升了野外人脸解析的当前最优（state-of-the-art）水平，且不需要面部关键点进行对齐。
引用
@article{arxiv.2102.02717,
title = {RoI Tanh-polar Transformer Network for Face Parsing in the Wild},
author = {Yiming Lin and Jie Shen and Yujiang Wang and Maja Pantic},
journal= {arXiv preprint arXiv:2102.02717},
year = {2021}
}
备注
Accepted at Image and Vision Computing. Code is available on https://github.com/hhj1897/face_parsing