形态屈折中噪声问题的探究
计算与语言
2023-05-29 v1
摘要
随着对高质量数据稀缺语言的形态屈折系统关注日益增长，训练数据噪声是一个严重但迄今很大程度上被忽视的问题。我们旨在通过探究真正无监督形态范式补全流水线中遇到的噪声类型及其对形态屈折系统的影响来弥补这一空白：首先，我们提出一种用于屈折训练数据的错误分类法和标注流水线。然后，我们比较不同类型噪声对多个最先进屈折模型的影响。最后，我们提出一种新颖的字符级掩码语言建模（CMLM）预训练目标，并探究其对模型抗噪声能力的影响。我们的实验表明，不同架构受各类噪声的影响不同，但编码器-解码器往往比带有复制偏置训练的模型对噪声更鲁棒。CMLM 预训练有助于 Transformer，但对 LSTM 影响较小。
引用
@article{arxiv.2305.16581,
title = {An Investigation of Noise in Morphological Inflection},
author = {Adam Wiemerslage and Changbing Yang and Garrett Nicolai and Miikka Silfverberg and Katharina Kann},
journal= {arXiv preprint arXiv:2305.16581},
year = {2023}
}
备注
ACL 2023 Findings