使用区域引导标记将带地方口音的孟加拉语文本转写为国际音标
计算与语言
2024-04-03 v3 人工智能
机器学习
摘要
由于孟加拉语复杂的音系学和上下文相关的音变，将孟加拉语文本准确转写为国际音标（IPA）是一项具有挑战性的任务。对于地方性的孟加拉语方言，由于这些方言缺乏标准化的拼写惯例、存在当地及外来流行词汇以及不同区域间的音系多样性，这一挑战更为严峻。本文通过在一个覆盖孟加拉国六个地区的新数据集上引入区域引导标记（District Guided Tokens, DGT）技术，提出了一种解决此序列到序列问题的方法。其核心思想是在生成IPA转写之前，向模型提供关于输入文本的区域方言或“地区”的明确信息。这通过在输入序列前添加一个地区标记来实现，有效地引导模型理解与每个地区相关的独特语音模式。DGT技术被应用于在这个新数据集上微调多个基于Transformer的模型。实验结果证明了DGT的有效性，其中ByT5模型取得了优于mT5、BanglaT5和umT5等基于词的模型的性能。这归因于ByT5处理测试集中高比例集外词的能力。所提出的方法突显了将区域方言信息整合到服务于具有多样音系变体的语言的普适自然语言处理系统中的重要性。以下工作是“Bhashamul”挑战赛的成果，该挑战赛致力于解决带地方口音的孟加拉语文本到IPA转写的问题 https://www.kaggle.com/competitions/regipa/。训练和推理笔记本可通过竞赛链接获取。
引用
@article{arxiv.2403.17407,
title = {Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens},
author = {S M Jishanul Islam and Sadia Ahmmed and Sahid Hossain Mustakim},
journal= {arXiv preprint arXiv:2403.17407},
year = {2024}
}
备注
Updated missing references to the dataset and corrected some sentences in sections 1 and 2. This work became the champion of the Bhashamul challenge