基于双边注意力与金字塔填充块的单阶段图像修复
计算机视觉与模式识别
2019-12-19 v1
摘要
近期基于深度学习的图像修复方法利用上下文信息与两阶段架构，展现出卓越性能。然而，两阶段架构耗时较长，上下文信息缺乏高层语义且忽略了孔洞特征块的语义相关性与距离信息，这些局限导致最终结果纹理模糊、结构失真。受这些观察启发，我们提出一种基于深度生成模型的新方法，其以不同目标对共享网络训练两次，并在测试阶段仅使用单一网络，从而有效节省推理时间。具体而言，两次训练的目标分别为结构重建与纹理生成。在第二次训练中，我们首先提出金字塔填充块（PF-block）以利用已填充的孔洞区域高层特征逐步引导低层特征的填充过程，缺失内容得以以金字塔方式从深到浅填充。随后，受经典双边滤波 [30] 启发，我们提出双边注意力层（BA-layer）以优化填充后的特征图，其通过对周围特征块计算加权和来合成各位置的特征块，这些权重由同时考虑特征块间距离与数值关系得到，从而生成视觉上合理的修复结果。最后，在多个公开数据集上的实验显示了本方法的优越性能。
引用
@article{arxiv.1912.08642,
title = {One-Stage Inpainting with Bilateral Attention and Pyramid Filling Block},
author = {Hongyu Liu and Bin Jiang and Wei Huang and Chao Yang},
journal= {arXiv preprint arXiv:1912.08642},
year = {2019}
}