用于句子表示的变分自注意力模型
计算与语言
2020-03-11 v4
摘要
本文提出一种变分自注意力模型（VSAM），该模型采用变分推断来推导自注意力。我们通过施加概率分布将自注意力向量建模为随机变量。自注意力机制通过加权求和将源信息汇总为一个注意力向量，其中的权重是学习得到的概率分布。与传统的确定性对应方法相比，VSAM 引入的随机单元允许多模态注意力分布。此外，通过对潜变量进行边际化，VSAM 对过拟合更具鲁棒性。在立场检测任务上的实验证明了我们方法的优越性。
引用
@article{arxiv.1812.11559,
title = {Variational Self-attention Model for Sentence Representation},
author = {Qiang Zhang and Shangsong Liang and Emine Yilmaz},
journal= {arXiv preprint arXiv:1812.11559},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1511.06038 by other authors