通过查询-值交互改进注意力机制
计算与语言
2020-10-09 v1
摘要
注意力机制已在诸如 Transformer 和 BERT 等各种最先进的 NLP 模型中发挥了关键作用。它可表述为一个三元函数，利用由查询与键的交互导出的注意力权重对值进行加权求和，从而将输入的查询、键和值映射为一个输出。与查询-键交互类似，查询与值之间也存在固有的相关性，而引入查询-值交互有望通过根据查询的特征学习定制化的值来增强输出。然而，现有的注意力方法忽略了查询-值交互，这可能并非最优。在本文中，我们提出通过引入查询-值交互来改进现有的注意力机制。我们提出一个查询-值交互函数，能够学习查询感知的注意力值，并将其与原始的值和注意力权重结合以形成最终输出。在四个不同任务数据集上的大量实验表明，我们的方法通过引入查询-值交互能够持续提升许多基于注意力的模型的性能。
引用
@article{arxiv.2010.03766,
title = {Improving Attention Mechanism with Query-Value Interaction},
author = {Chuhan Wu and Fangzhao Wu and Tao Qi and Yongfeng Huang},
journal= {arXiv preprint arXiv:2010.03766},
year = {2020}
}