具有非拼接形态语言的形态感知分词器：Yoloxochitl Mixtec语音识别案例研究

本文研究了使用形态感知分词器来辅助和简化Yoloxochitl Mixtec（YM）音频语料的逐行注释，使用ASR和基于文本的序列到序列工具的组合，目标是在减少人工标注工作量的同时提高效率。我们提出了两种新颖的分词方案，以非线性方式分离词语，尽可能保留声调形态信息。其中一种方法——分段与旋律分词器——仅提取声调而不预测分段。另一种方法——过程序列分词器——预测词语的分段，这可以使端到端ASR系统在一次遍历中同时生成分段和未分段转录。我们发现这些新颖分词器与BPE和Unigram模型具有竞争力，分段与旋律模型在词错误率方面优于传统分词器，但未达到相同的字符错误率。此外，我们分析了分词器在形态学和信息论指标上的表现，以发现与下游性能的预测相关性。我们的结果表明，专门为非拼接形态语言设计的非线性分词器在ASR方面与传统的BPE和Unigram模型具有竞争力。需要进一步研究来确定这些分词器在下游处理任务中的适用性。