通过 transliteration 连接波斯语世界
计算与语言
2025-02-28 v1
摘要
尽管说的是同一语言的相互可理解的方言，但塔吉克波斯语（使用修改的西里尔字母）的说话者无法阅读使用波斯-阿拉伯文字书写的伊朗和阿富斯坦文本。由于波斯文本在互联网上的绝大多数数使用波斯-阿拉伯文字，单语塔吉克说话者无法以任何有意义的方式与互联网进行交互。鉴于这些方言的正式语态之间的巨大相似性以及塔吉克-波斯平行数据的稀缺，机器 transliteration 被提出作为比机器翻译更为实用和合适的解决方案。本文提出了一种基于 Transformer 的 G2P 方法，用于塔吉克-波斯 transliteration，分别在新构建的双文字数据集上实现了 58.70（波斯→塔吉克）和 74.20（塔吉克→波斯）的 chrF++ 分数，为后续工作设定了可比较的基准指标。我们的结果还表明，这一任务在两个方向上都具有非平凡的难度。我们还提供了两种文字之间的差异概述以及所呈现的挑战，以便于未来的塔吉克-波斯 transliteration 工作。
引用
@article{arxiv.2502.20047,
title = {Connecting the Persian-speaking World through Transliteration},
author = {Rayyan Merchant and Akhilesh Kakolu Ramarao and Kevin Tang},
journal= {arXiv preprint arXiv:2502.20047},
year = {2025}
}