用于动态局部注意力的可微分窗口
机器学习
2020-06-25 v1 计算与语言
机器学习
摘要
我们提出可微分窗口（Differentiable Window），一种用于动态窗口选择的新神经模块和通用组件。尽管具有普遍适用性，我们展示了一个引人注目的用例，即利用可微分窗口通过使注意力更聚焦于输入区域来改进标准注意力模块。我们提出了可微分窗口的两种变体，并以两种新颖方式将其集成到 Transformer 架构中。我们在众多 NLP 任务上评估了所提出的方法，包括机器翻译、情感分析、主谓一致和语言建模。我们的实验结果在所有任务上均展现出一致且显著的改进。
引用
@article{arxiv.2006.13561,
title = {Differentiable Window for Dynamic Local Attention},
author = {Thanh-Tung Nguyen and Xuan-Phi Nguyen and Shafiq Joty and Xiaoli Li},
journal= {arXiv preprint arXiv:2006.13561},
year = {2020}
}
备注
Accepted at ACL 2020