用于图像补全的深度融合网络
计算机视觉与模式识别
2019-04-18 v1
摘要
深度图像补全通常无法将修复的图像和谐地融入现有内容中，特别是在边界区域。本文从创建平滑过渡的新视角处理该问题，并提出了一种简洁的深度融合网络（DFNet）。首先，引入融合块以生成灵活的 alpha 合成图，用于结合已知和未知区域。该融合块不仅在修复内容和现有内容之间提供平滑融合，还提供注意力图使网络更关注未知像素。以此方式，它为结构信息和纹理信息搭建了桥梁，使信息能够从已知区域自然传播到补全区域。此外，融合块被嵌入到网络的多个解码器层中。伴随着每层上的可调损失约束，获得了更准确的结构信息。我们在 Places2 和 CelebA 数据集上定性和定量地将我们的方法与其他 state-of-the-art 方法进行了比较。结果表明了 DFNet 的优越性能，特别是在和谐纹理过渡、纹理细节和语义结构一致性方面。我们的源代码将在：\url{https://github.com/hughplay/DFNet} 提供
引用
@article{arxiv.1904.08060,
title = {Deep Fusion Network for Image Completion},
author = {Xin Hong and Pengfei Xiong and Renhe Ji and Haoqiang Fan},
journal= {arXiv preprint arXiv:1904.08060},
year = {2019}
}