学习融入结构知识用于图像修复
计算机视觉与模式识别
2020-02-13 v2 机器学习
图像与视频处理
摘要
本文提出了一种多任务学习框架，试图将图像结构知识融入以辅助图像修复，这在以往工作中尚未得到充分探索。其核心思想是训练一个共享生成器，同时完成受损图像及其对应结构（边缘与梯度）的补全，从而隐式地鼓励生成器在修复时利用相关结构知识。同时，我们还引入了结构嵌入方案，将学到的结构特征显式嵌入修复过程，为图像补全提供可能的先验条件。具体而言，提出了一种新颖的金字塔结构损失来监督结构学习与嵌入。此外，开发了注意力机制以进一步利用图像中重复的结构与模式，精炼生成的结构与内容。通过多任务学习、结构嵌入以及注意力机制，我们的框架充分利用了结构知识，并在基准数据集上以定量与定性方式优于若干 SOTA 方法。
引用
@article{arxiv.2002.04170,
title = {Learning to Incorporate Structure Knowledge for Image Inpainting},
author = {Jie Yang and Zhiquan Qi and Yong Shi},
journal= {arXiv preprint arXiv:2002.04170},
year = {2020}
}
备注
Accepted by AAAI 2020