贝叶斯注意力模块
机器学习
2020-10-22 v1 机器学习
神经与进化计算
摘要
注意力模块作为简单而有效的工具，不仅使深度神经网络在许多领域取得了最先进的结果，还增强了其可解释性。由于简单且易于优化，当前大多数模型使用确定性注意力模块。相比之下，随机注意力模块尽管具有潜在优势却较少受到关注，其主要原因在于随机注意力常引入优化问题或需要对模型进行显著改动。本文提出了一种可扩展、易于实现和优化的随机注意力版本。我们通过归一化可重参数化分布来构造单纯形约束的注意力分布，使训练过程可微分。我们在贝叶斯框架中学习其参数，并引入数据依赖先验以进行正则化。我们将所提出的随机注意力模块应用于多种基于注意力的模型，涵盖图节点分类、视觉问答、图像描述、机器翻译和语言理解等任务。实验表明，该方法相较相应基线带来了持续的改进。
引用
@article{arxiv.2010.10604,
title = {Bayesian Attention Modules},
author = {Xinjie Fan and Shujian Zhang and Bo Chen and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2010.10604},
year = {2020}
}