勿忘长尾！双语词典归纳中形态泛化的综合分析
计算与语言
2019-10-23 v2
摘要
由于语言中词汇的 Zipf 分布，人类译员经常需要翻译单词的罕见屈折形式。例如，从西班牙语翻译时，一位优秀的译员能毫无困难地识别出如 hablár amos 这样统计上罕见的屈折形式的正确翻译。请注意，其词位本身，hablar，是相对常见的。在这项工作中，我们探究了当前最先进的双语词典归纳器是否能够学习这种泛化能力。我们引入了涵盖 10 种语言的 40 部形态完备的词典，并在翻译低频形态形式的任务上评估了三种最先进的模型。我们证明，当评估不常见的形态屈折形式时，最先进模型的性能显著下降，随后展示了在训练时添加一个简单的形态约束即可提升性能，这证明双语词典归纳器可以从更好的形态编码中获益。
引用
@article{arxiv.1909.02855,
title = {Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction},
author = {Paula Czarnowska and Sebastian Ruder and Edouard Grave and Ryan Cotterell and Ann Copestake},
journal= {arXiv preprint arXiv:1909.02855},
year = {2019}
}
备注
EMNLP 2019