基于注意力的图像上采样
计算机视觉与模式识别
2020-12-21 v1 机器学习
摘要
卷积层是计算机视觉中许多深度神经网络解决方案的组成部分。近期工作表明，用基于自注意力（self-attention）的机制替代标准卷积操作可提升图像分类与目标检测任务的性能。在本工作中，我们展示了如何使用注意力机制替代另一典型操作：步长转置卷积（strided transposed convolution）。我们将这一新型基于注意力的操作称为基于注意力的上采样（attention-based upsampling），因其增大/上采样特征图的空间维度。通过在单图像超分辨率与联合图像上采样任务上的实验，我们表明基于注意力的上采样在使用更少参数的同时，持续优于基于步长转置卷积或基于自适应滤波器的传统上采样方法。我们展示了注意力机制固有的灵活性——允许使用不同来源计算注意力系数与注意力目标——使得基于注意力的上采样成为融合多图像模态信息时的自然选择。
引用
@article{arxiv.2012.09904,
title = {Attention-based Image Upsampling},
author = {Souvik Kundu and Hesham Mostafa and Sharath Nittur Sridhar and Sairam Sundaresan},
journal= {arXiv preprint arXiv:2012.09904},
year = {2020}
}