双头怪物与交叉协同注意力网络
计算与语言
2019-11-12 v1
摘要
本文对神经转导模型中一种新的协同注意力机制进行了初步研究。我们提出一种称为双头怪物（Two-Headed Monster, THM）的范式，其由两个对称编码器模块和一个通过协同注意力连接的解码器模块组成。作为 THM 的一个具体实现，交叉协同注意力网络（Crossed Co-Attention Networks, CCNs）基于 Transformer 模型设计。我们在 WMT 2014 英德翻译和 WMT 2016 英法翻译任务上展示了 CCNs，我们的模型在英德翻译上分别以 0.51（大）和 0.74（基）个 BLEU 点、在英法翻译上分别以 0.17（大）和 0.47（基）个 BLEU 点优于强大的 Transformer 基线。
引用
@article{arxiv.1911.03897,
title = {Two-Headed Monster And Crossed Co-Attention Networks},
author = {Yaoyiran Li and Jing Jiang},
journal= {arXiv preprint arXiv:1911.03897},
year = {2019}
}