面向图像修复的掩码自注意力中温度缩放学习
计算机视觉与模式识别
2023-02-14 v1
摘要
深度生成对抗网络(GAN)与自注意力机制的最新进展，使得在图像中修复大面积缺失区域这一极具挑战性的任务取得了显著改进。这些方法在神经网络中集成自注意力机制，以基于相关性利用周围的神经元素，并帮助网络捕捉长程依赖。温度是自注意力中所用 Softmax 函数中的一个参数，它能使注意力分数分布偏向少数相似块。现有图像修复中的多数自注意力机制基于卷积并将温度设为常数，在有限特征空间中进行块匹配。本文中，我们分析以往自注意力机制中的伪影与训练问题，并重新设计温度学习网络以及自注意力机制以解决这些问题。我们提出一种具有多头温度掩码自注意力机制的图像修复框架，其提供稳定高效的温度学习，并利用多个远距离上下文信息实现高质量图像修复。除提升修复结果的图像质量外，我们通过引入一种新的草图生成方法，将所提模型推广至用户引导的图像编辑。在 Paris StreetView、CelebA-HQ 和 Places2 等多个数据集上的大量实验清楚地表明，我们的方法不仅在感知图像质量和定量指标方面均生成比以往工作更自然的修复结果，还能够帮助用户生成与其草图引导相关的更灵活结果。
引用
@article{arxiv.2302.06130,
title = {Learning to Scale Temperature in Masked Self-Attention for Image Inpainting},
author = {Xiang Zhou and Yuan Zeng and Yi Gong},
journal= {arXiv preprint arXiv:2302.06130},
year = {2023}
}