ShowFace：基于记忆解耦精炼网络的人脸协调修复
计算机视觉与模式识别
2022-04-26 v3
摘要
人脸修复旨在补全人脸图像中受损的区域，这要求补全区域与未受损区域之间保持协调。近来，面向记忆的方法通过引入外部记忆模块来改善图像协调性，在生成相关任务中展现出良好前景。然而，此类方法在恢复特定人脸语义部件的一致性与连续性方面仍存在局限。本文提出用于协调人脸修复的由粗到细的记忆解耦精炼网络（MDRNets），其中集成了两个协作模块：解耦记忆模块（DMM）与掩码区域增强模块（MREM）。具体而言，DMM建立一组解耦记忆块以存储语义解耦的人脸表征，从而提供最具相关信息来精炼语义级协调。MREM引入掩码相关性挖掘机制，将特征关系增强至受损区域，亦可弥补由记忆解耦带来的相关性损失。此外，为更好地改善受损与未受损区域间的相互协调并增强受损区域内的内部协调，我们设计了InCo2损失，一对基于相似性的损失以约束特征一致性。最终，在CelebA-HQ与FFHQ数据集上的大量实验证明了我们的MDRNets相较于先前SOTA方法的优越性。
引用
@article{arxiv.2204.02824,
title = {ShowFace: Coordinated Face Inpainting with Memory-Disentangled Refinement Networks},
author = {Zhuojie Wu and Xingqun Qi and Zijian Wang and Wanting Zhou and Kun Yuan and Muyi Sun and Zhenan Sun},
journal= {arXiv preprint arXiv:2204.02824},
year = {2022}
}