更关注注意力：多语言与多领域序列建模中的注意力头选择
计算与语言
2021-06-22 v1 人工智能
摘要
多头注意力让每个注意力头从输入序列的不同部分收集显著信息，使其成为序列建模的强大机制。多语言与多领域学习是序列建模的常见场景，其关键挑战在于最大化跨语言与跨领域的正迁移并缓解负迁移。本文中，我们发现非选择性的注意力共享对于在所有语言与领域上实现良好泛化是次优的。我们进一步提出注意力共享策略，以促进多语言与多领域序列建模中的参数共享与专门化。我们的方法自动为不同语言与领域学习共享与专门的注意力头，以缓解其相互干扰。在包括语音识别、文本到文本与语音到文本翻译在内的多种任务上评估，所提出的注意力共享策略持续为多头部注意力构建的序列模型带来增益。对于语音到文本翻译，我们的方法在多语言设定下于 个语言方向上平均带来 BLEU，在多领域设定下于 个领域上带来 BLEU。
引用
@article{arxiv.2106.10840,
title = {Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling},
author = {Hongyu Gong and Yun Tang and Juan Pino and Xian Li},
journal= {arXiv preprint arXiv:2106.10840},
year = {2021}
}