CR-Fill：基于辅助上下文重建的生成式图像修复
计算机视觉与模式识别
2021-04-01 v2 多媒体
摘要
近期深度生成式修复方法使用注意力层，使生成器能够显式地从已知区域借取特征块以补全缺失区域。由于缺乏缺失区域与已知区域之间对应关系的监督信号，可能找不到合适的参考特征，常导致结果中出现伪影。同时，其在推理时对整张特征图计算两两相似度，带来显著计算开销。为解决该问题，我们提出通过联合训练一个辅助上下文重建任务，将此种借块行为教给一个无注意力的生成器，该任务鼓励即便由周围区域重建时生成输出也合理。该辅助分支可视为一个可学习的损失函数，即命名为上下文重建（CR）损失，其中查询-参考特征相似度与基于参考的重建器与修复生成器联合优化。辅助分支（即 CR 损失）仅在训练时需要，推理时仅需修复生成器。实验结果表明，所提修复模型在定量与视觉性能上均优于当前最优方法。
引用
@article{arxiv.2011.12836,
title = {CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction},
author = {Yu Zeng and Zhe Lin and Huchuan Lu and Vishal M. Patel},
journal= {arXiv preprint arXiv:2011.12836},
year = {2021}
}