BattRAE：基于双向注意力递归自编码器的双语短语嵌入学习
计算与语言
2016-11-28 v2
摘要
本文提出一种基于双向注意力的递归自编码器（BattRAE），将多粒度线索与源-目标端交互整合到双语短语表示中。我们使用递归自编码器生成具有不同粒度嵌入（如词、子短语和短语）的短语树结构。在源端和目标端的这些嵌入之上，我们引入一个双向注意力网络来学习其交互，并编码于一个双向注意力矩阵中，从中同时提取两个软注意力权重分布。这些权重分布使 BattRAE 能够通过卷积生成组合式短语表示。基于学习到的短语表示，我们进一步使用一个通过最大间隔方法训练的双线性神经模型来度量双语语义相似度。为评估 BattRAE 的有效性，我们将该语义相似度作为额外特征融入一个最先进的统计机器翻译（SMT）系统。在 NIST 中英测试集上的大量实验表明，我们的模型相比基线平均取得了高达 1.63 BLEU 分的显著提升。
引用
@article{arxiv.1605.07874,
title = {BattRAE: Bidimensional Attention-Based Recursive Autoencoders for Learning Bilingual Phrase Embeddings},
author = {Biao Zhang and Deyi Xiong and Jinsong Su},
journal= {arXiv preprint arXiv:1605.07874},
year = {2016}
}
备注
7 pages, accepted by AAAI 2017