双语社区中资源不足语言非规范书写的字母系统归一化
计算与语言
2023-05-29 v1
摘要
社交媒体的广泛可及性为语言代表性不足的社区提供了以其母语创作内容的绝佳机会。然而，这在字母系统归一化（script normalization）方面带来了特定挑战，尤其是在双语社区中，某语言的说话者依赖另一种字母或正字法来书写其母语。本文针对主要以波斯-阿拉伯字母书写的若干此类语言的字母系统归一化问题。利用含不同噪声水平的合成数据与基于transformer的模型，我们证明了该问题可有效缓解。我们还对真实数据进行了小规模评估。实验表明，字母系统归一化亦有益于提升机器翻译与语言识别等下游任务的性能。
引用
@article{arxiv.2305.16407,
title = {Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities},
author = {Sina Ahmadi and Antonios Anastasopoulos},
journal= {arXiv preprint arXiv:2305.16407},
year = {2023}
}
备注
To appear in the proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL)