更少内存、更快速度：精炼自注意力模块用于图像重建
计算机视觉与模式识别
2019-05-21 v1 机器学习
图像与视频处理
摘要
自注意力（SA）机制能有效捕获深度神经网络中的全局依赖关系，已成功应用于自然语言处理与图像处理。然而，用于图像重建的SA模块具有较高时间与空间复杂度，限制了其在更高分辨率图像上的应用。本文通过适配非局部操作、修订SA模块内单元间的连接关系并重新实现其计算模式，精炼了自注意力生成对抗网络（SAGAN）中的SA模块，使其时间与空间复杂度由降至，同时仍等价于原SA模块。进一步，我们探究了该模块背后的原理，发现我们的模块是一种特殊的通道注意力机制。基于两个图像重建基准数据集的实验结果表明，在相同计算环境下，两种模型可达到相当的图像重建效果，但所提模型运行更快且占用内存更少。
引用
@article{arxiv.1905.08008,
title = {Less Memory, Faster Speed: Refining Self-Attention Module for Image Reconstruction},
author = {Zheng Wang and Jianwu Li and Ge Song and Tieling Li},
journal= {arXiv preprint arXiv:1905.08008},
year = {2019}
}