语言 diacritic 程度及其对任务的影响

Diacritic 是用于澄清发音、区分相似单词或改变意义的正字符号。在许多书写系统中发挥核心作用，但其对语言技术的影响尚未在不同书写系统中进行系统量化。虽然已有研究在单个语言中考察 diacritic，但缺乏跨语言、数据驱动的框架来衡量书写系统依赖 diacritic 的程度以及这种依赖如何影响下游任务。我们提出一种数据驱动框架，用于量化 diacritic 复杂度，采用基于语料库的信息论指标捕捉字符-diacritic 组合的频率、歧义性和结构多样性。我们在24个语料库（覆盖15种语言）上计算这些指标，涵盖单 diacritic 与多 diacritic 书写系统。随后我们考察 diacritic 复杂度与 diacritic 恢复任务性能之间的相关性，评估基于 BERT 和 RNN 的模型。我们发现，跨语言而言，更高的 diacritic 复杂度与更低的恢复准确率密切相关。在单 diacritic 书写系统中，字符-diacritic 组合更为可预测，频率基于和结构度量大体一致。在多 diacritic 书写系统中，结构复杂度与性能关联最强，超过频率基于度量。这一发现表明，diacritic 使用的可衡量属性会影响 diacritic 恢复模型的性能，表明正字复杂度不仅是描述性的，更在建模中具有功能性相关性。