Kronecker 注意力网络
计算机视觉与模式识别
2020-07-17 v1 机器学习
摘要
注意力算子已被应用于文本等一维数据以及图像和视频等更高阶数据。在高阶数据上使用注意力算子需要将空间或时空维度展平为向量，并假定其服从多元正态分布。这不仅带来过高的计算资源需求，也未能保持数据结构。本工作中，我们提出通过假定数据服从矩阵变量正态分布来避免展平。基于这一新视角，我们发展了直接作用于高阶张量数据的 Kronecker 注意力算子（KAOs）。更重要的是，所提出的 KAOs 带来了计算资源的大幅削减。实验结果表明，我们的方法将所需计算资源减少了数百倍，对更高维与更高阶数据削减因子更大。结果还显示，含 KAOs 的网络优于无注意力的模型，同时取得了与含原始注意力算子的模型相当的性能。
引用
@article{arxiv.2007.08442,
title = {Kronecker Attention Networks},
author = {Hongyang Gao and Zhengyang Wang and Shuiwang Ji},
journal= {arXiv preprint arXiv:2007.08442},
year = {2020}
}
备注
9 pages, KDD2020