用于图像修复的区域感知注意力
计算机视觉与模式识别
2022-04-05 v1
摘要
近期基于注意力的图像修复方法通过对单幅图像内长距离依赖建模取得了令人鼓舞的进展。然而，由于每个像素对之间的相关性常被孔洞中错误预测的特征所误导，它们往往生成模糊的内容。为解决此问题，我们提出一种新颖的区域感知注意力（RA）模块。通过避免直接计算单样本中各像素对之间的相关性，并考虑不同样本间的相关性，可避免孔洞中无效信息的误导。同时，引入可学习区域字典（LRD）来存储整个数据集中的重要信息，这不仅简化了相关性建模，还避免了信息冗余。通过在我们的架构中应用 RA，我们的方法能够生成具有真实细节且语义合理的修复结果。在 CelebA、Places2 和 Paris StreetView 数据集上的大量实验验证了我们的方法相对于现有方法的优越性。
引用
@article{arxiv.2204.01004,
title = {Region-aware Attention for Image Inpainting},
author = {Zhilin Huang and Chujun Qin and Zhenyu Weng and Yuesheng Zhu},
journal= {arXiv preprint arXiv:2204.01004},
year = {2022}
}