基于区域注意面部遮挡 inpainting 的面具移除

在新冠疫情期间，面具在我们的生活中变得无处不在。面具会导致一些面部识别模型失效，因为它们遮挡了面部的显著部分。此外，移除捕获图像或视频中的面具也是有利的，例如用于更好的社交交流以及图像/视频编辑和增强目的。因此，我们提出了一种生成式面部填充方法，用于有效恢复/重构面具覆盖的部分。面部填充比传统填充更具挑战性，因为它需要在保持身份的同时实现高保真。我们的方法包括一个多尺度通道-空间注意力模块（M-CSAM），以减轻空间信息损失并学习信号之间的相关性。此外，我们引入了一种方法强制监督信号仅聚焦于遮挡区域而非整个图像。我们还通过纳入五种不同类型的面具（包括手术面具、常规面具和围脖），并覆盖颈部区域，从CelebA数据集合成了自己的遮挡面部数据集。实验结果表明，我们的方法在结构相似性指数、峰值信噪比和L1损失方面均优于不同基准方法，同时也提供了更好的定性输出。代码将公开发布。代码可在GitHub获取。