基于自然语言推理评估神经机器翻译中语义现象的方法
计算与语言
2018-05-08 v2
摘要
我们提出一种流程，用于考察神经机器翻译（NMT）系统所产生的句子表示在多大程度上编码了不同的语义现象。我们使用这些表示作为特征，基于由现有语义标注重铸的数据集来训练自然语言推理（NLI）分类器。将这一流程应用于一个具代表性的 NMT 系统时，我们发现其编码器相比于需要世界知识的指代消解，似乎最适于支持句法—语义接口层面的推理。我们以对现有流程的优点与潜在不足，以及其如何作为评估语义覆盖的更广义框架被改进与扩展的讨论作结。
引用
@article{arxiv.1804.09779,
title = {On the Evaluation of Semantic Phenomena in Neural Machine Translation Using Natural Language Inference},
author = {Adam Poliak and Yonatan Belinkov and James Glass and Benjamin Van Durme},
journal= {arXiv preprint arXiv:1804.09779},
year = {2018}
}
备注
To be presented at NAACL 2018 - 11 pages