FT-TDR：用于盲人脸修复的频率引导 Transformer 与自顶向下精修网络
计算机视觉与模式识别
2022-02-01 v2
摘要
盲人脸修复是指在人脸图像中不显式指示损坏区域的情况下重建视觉内容的任务。该任务本质上面临两个挑战：（1）如何检测不同形状和内容的不同掩码模式；（2）如何在掩码区域中恢复视觉上合理且令人愉悦的内容。在本文中，我们提出了一种名为频率引导 Transformer 与自顶向下精修网络（FT-TDR）的新型两阶段盲人脸修复方法来解决这些挑战。具体而言，我们首先使用基于 Transformer 的网络，通过建模不同图像块之间的关系，将待修复的损坏区域检测为掩码。我们还利用频率模态作为补充信息以改善检测结果，并捕获局部上下文不一致性以增强边界一致性。然后，提出了一种自顶向下精修网络，以分层恢复不同级别的特征，并生成与未掩码人脸区域语义一致的内容。大量实验表明，我们的方法在定性和定量上均优于当前最先进的盲修复和非盲人脸修复方法。
关键词
引用
@article{arxiv.2108.04424,
title = {FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting},
author = {Junke Wang and Shaoxiang Chen and Zuxuan Wu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2108.04424},
year = {2022}
}