基于双并行流的结构感知图像修复
计算机视觉与模式识别
2021-11-08 v1 人工智能
摘要
近期图像修复方面的研究表明，结构信息在恢复视觉上令人满意的结果中起着重要作用。本文提出一种由两条并行基于UNet的流组成的端到端架构：主流（MS）和结构流（SS）。在SS的辅助下，MS能够生成具有合理结构和真实细节的可信结果。具体而言，MS通过同时推断缺失的结构和纹理来重建细节图像，而SS通过处理来自MS编码器的分层信息仅恢复缺失的结构。通过在训练过程中与SS交互，可隐式地鼓励MS利用结构线索。为了帮助SS聚焦于结构并防止MS中的纹理受到影响，提出了一种门控单元以抑制MS与SS之间信息流中与结构无关的激活。此外，SS中的多尺度结构特征图通过融合块被显式用于指导MS解码器中结构合理的图像重建。在CelebA、Paris StreetView和Places2数据集上的大量实验表明，我们所提方法优于当前最先进的方法。
引用
@article{arxiv.2111.03414,
title = {Structure-aware Image Inpainting with Two Parallel Streams},
author = {Zhilin Huang and Chujun Qin and Ruixin Liu and Zhenyu Weng and Yuesheng Zhu},
journal= {arXiv preprint arXiv:2111.03414},
year = {2021}
}
备注
9 pages, 8 figures, rejected by IJCAI 2021