PEPSI++：快速轻量化的图像修复网络
计算机视觉与模式识别
2020-03-20 v5 图像与视频处理
摘要
在各种基于生成对抗网络（GAN）的图像修复方法中，带有上下文注意力模块（CAM）的由粗到细网络展现出卓越性能。然而，由于两个堆叠的生成网络，该由粗到细网络需要大量计算资源（如卷积操作和网络参数），导致速度低下。为解决此问题，我们提出一种称为 PEPSI 的新颖网络架构：用于语义修复网络的并行扩展解码器路径，旨在降低硬件成本并提升修复性能。PEPSI 由一个共享编码网络和称为粗路径与修复路径的并行解码网络组成。粗路径产生初步修复结果以训练编码网络，从而预测供 CAM 使用的特征。同时，修复路径利用通过 CAM 重构的精炼特征生成更高质量的修复结果。此外，我们提出 Diet-PEPSI，在保持性能的同时显著减少网络参数。在 Diet-PEPSI 中，为以低硬件成本捕获全局上下文信息，我们提出新颖的速率自适应空洞卷积层，其使用公共权重但依据给定空洞率产生动态特征。与最先进图像修复方法对比的广泛实验表明，PEPSI 与 Diet-PEPSI 均提升了峰值信噪比（PSNR）和结构相似性（SSIM）等定性指标，并显著降低了计算时间和网络参数数量等硬件成本。
引用
@article{arxiv.1905.09010,
title = {PEPSI++: Fast and Lightweight Network for Image Inpainting},
author = {Yong-Goo Shin and Min-Cheol Sagong and Yoon-Jae Yeo and Seung-Wook Kim and Sung-Jea Ko},
journal= {arXiv preprint arXiv:1905.09010},
year = {2020}
}
备注
Accepted to IEEE transactions on Neural Networks and Learning Systems. To be published