口语波斯语的自动标准化
计算与语言
2020-12-11 v1
摘要
伊朗波斯语有两种变体：标准语与口语。多数波斯语自然语言处理工具假设文本为标准形式：该假设在许多实际应用尤其是网络内容中是错误的。本文描述一种基于序列到序列翻译的简单有效标准化方法。我们设计了一种算法，用于生成人工平行口语到标准语数据以学习序列到序列模型。此外，我们标注了公开可用的评估数据，包含来自多样领域的 1912 个句子。我们的内部评估显示 BLEU 分数达 62.8，高于现成基于规则的标准化模型的 61.7，而原始文本的 BLEU 分数为 46.4。我们还展示在训练数据来自口语波斯语的场景下，我们的模型改进了英到波斯语机器翻译，在开发数据上绝对 BLEU 分数差异为 1.4，测试数据上为 0.8。
引用
@article{arxiv.2012.05879,
title = {Automatic Standardization of Colloquial Persian},
author = {Mohammad Sadegh Rasooli and Farzane Bakhtyari and Fatemeh Shafiei and Mahsa Ravanbakhsh and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2012.05879},
year = {2020}
}