SCRAM：空间相干随机化注意力图
机器学习
2019-05-27 v1 计算机视觉与模式识别
机器学习
摘要
注意力机制及一般的非局部均值操作是许多最先进深度学习技术的关键要素。特别是，基于多头自注意力的 Transformer 模型近期在自然语言处理和计算机视觉中取得了巨大成功。然而，对具有 n 像素的图像计算 Transformer 的朴素算法具有 O(n^2) 复杂度，对于大规模图像数据这通常极其缓慢且有时昂贵得令人却步。本文中，我们提出一种快速随机化算法——SCRAM——仅需 O(n log(n)) 时间即可生成图像注意力图。如此显著的加速归功于我们的洞察：真实世界图像上的注意力图通常表现出 (1) 空间相干性与 (2) 稀疏结构。SCRAM 的核心思想是采用 PatchMatch（一种随机化对应算法）快速为每个查询首先确定最匹配的键 (argmax)，然后利用该知识设计对非局部均值操作的稀疏近似。使用 argmax（众数）动态构建稀疏近似使我们的算法区别于所有现有的稀疏近似方法并使其非常高效。此外，与某些只能近似自注意力的其他稀疏近似不同，SCRAM 是适用于任意非局部均值层的广泛适用近似。我们的初步实验结果表明，SCRAM 确实有望加速或扩展 Transformer 中注意力图的计算。
引用
@article{arxiv.1905.10308,
title = {SCRAM: Spatially Coherent Randomized Attention Maps},
author = {Dan A. Calian and Peter Roelants and Jacques Cali and Ben Carr and Krishna Dubba and John E. Reid and Dell Zhang},
journal= {arXiv preprint arXiv:1905.10308},
year = {2019}
}