透过面具看本质：多任务生成式面具解耦人脸识别
计算机视觉与模式识别
2023-11-21 v1
摘要
COVID-19疫情的爆发使人们比以往更频繁地佩戴口罩。当前的通用人脸识别系统在遇到遮挡场景时会出现严重的性能下降。潜在原因是人脸特征被关键面部区域的遮挡所破坏。为解决此问题，以往工作要么通过额外的面具预测在特征层提取与身份相关的嵌入，要么通过生成模型恢复被遮挡的面部部分。然而，前者缺乏用于模型解释的视觉结果，而后者则受到可能影响下游识别的伪影困扰。因此，本文提出一种多任务生成式面具解耦人脸识别（MEER）网络来联合处理这两项任务，该网络能够学习遮挡无关且与身份相关的表征，同时实现无遮挡人脸合成。我们首先提出一种新颖的面具解耦模块来分离面具与身份信息，使网络从可见面部组件中获得更纯净的身份特征。然后，通过联合训练策略恢复无遮挡人脸，该人脸将进一步通过身份保持损失来精炼识别网络。在真实与合成遮挡基准上的口罩人脸识别实验表明，MEER能够超越最先进的方法。
引用
@article{arxiv.2311.11512,
title = {Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition},
author = {Zhaohui Wang and Sufang Zhang and Jianteng Peng and Xinyi Wang and Yandong Guo},
journal= {arXiv preprint arXiv:2311.11512},
year = {2023}
}