轴向修复网络中基于小波先验注意力的学习
计算机视觉与模式识别
2022-06-15 v2
摘要
图像修复是用视觉逼真的内容填充图像中被遮挡或未知区域的任务，近年来深度神经网络（DNNs）显著改善了该任务。本质上，作为一个逆问题，修复面临的根本挑战是在无纹理伪影的情况下重建语义连贯的结果。先前许多工作通过利用注意力机制和先验知识（如边缘和语义分割）来应对。然而，这些工作在实践中仍受限于大量可学习先验参数和过高的计算负担。为此，我们提出一种新模型——轴向修复网络中的小波先验注意力学习（WAIN），其生成器包含编码器、解码器以及小波图像先验注意力（WPA）和堆叠多层轴向 Transformer（ATs）两个关键组件。特别地，WPA 引导多尺度频域中的高层特征聚合，缓解文本伪影。堆叠 ATs 利用未遮挡线索，结合水平与垂直轴的低层特征来建模合理特征，提升语义连贯性。在 Celeba-HQ 和 Places2 数据集上进行的广泛定量与定性实验验证了我们的 WAIN 优于对比方法，达到最先进的性能。代码与模型将公开。
引用
@article{arxiv.2206.03113,
title = {Wavelet Prior Attention Learning in Axial Inpainting Network},
author = {Chenjie Cao and Chengrong Wang and Yuntao Zhang and Yanwei Fu},
journal= {arXiv preprint arXiv:2206.03113},
year = {2022}
}