填补空缺：作为形态学规则学习模型的神经架构
计算与语言
2021-05-11 v1
摘要
神经架构的最新进展重新引发了形态学规则学习的问题。我们评估 Transformer 作为形态学规则学习模型的表现，并在英语、德语和俄语上将其与循环神经网络（RNN）比较。我们提出一个迄今被忽视的问题：形态学空缺，即一个词的预期屈折形式缺失。例如，63 个俄语动词缺少第一人称单数现在时形式，因而无法自然地说出“*o\v{s}\v{c}u\v{s}\v{c}u”（“我感到”）。即便英语也有空缺，如“stride”的过去分词：形态学屈折的功能可以是部分的。两种神经架构都生成了本应缺失的屈折形式。分析表明，Transformer 重现了训练数据中屈折形式的统计分布，类似于 RNN。模型在英语和德语上的成功源于这些语言中的规则可由多数形式识别，而这并非普遍成立。
引用
@article{arxiv.2105.03710,
title = {Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning},
author = {Deniz Beser},
journal= {arXiv preprint arXiv:2105.03710},
year = {2021}
}