Talking-Heads 注意力机制
机器学习
2020-03-06 v1 神经与进化计算
声音
音频与语音处理
机器学习
摘要
我们提出“talking-heads attention”——一种多头注意力的变体，在注意力头维度上、于 softmax 操作前后紧邻处加入线性投影。尽管仅插入少量额外参数与适中额外计算，talking-heads attention 在掩码语言建模任务上取得了更低的困惑度，并且在迁移学习至语言理解与问答任务时具有更好的质量。
引用
@article{arxiv.2003.02436,
title = {Talking-Heads Attention},
author = {Noam Shazeer and Zhenzhong Lan and Youlong Cheng and Nan Ding and Le Hou},
journal= {arXiv preprint arXiv:2003.02436},
year = {2020}
}