你说什么？利用变分 Transformer 检测分布外翻译
计算与语言
2020-06-16 v1 机器学习
机器学习
摘要
我们使用 Transformer 模型的贝叶斯深度学习等价形式来检测神经机器翻译中的训练分布外句子。为此，我们设计了一种专为长序列离散随机变量（即输出句子中的词）设计的新不确定性度量。我们的新不确定性度量解决了在长句子上朴素应用现有方法时的一个主要难解性问题。我们将新度量用于一个使用 dropout 近似推断训练的 Transformer 模型。在基于 WMT13 和 Europarl 的德英翻译任务上，我们表明，借助 dropout 不确定性，我们的度量能够识别何时将荷兰语源句子（其使用的词类型与德语相同）而非德语输入给模型。
引用
@article{arxiv.2006.08344,
title = {Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers},
author = {Tim Z. Xiao and Aidan N. Gomez and Yarin Gal},
journal= {arXiv preprint arXiv:2006.08344},
year = {2020}
}
备注
19 pages, 9 figures