MoVoC：Geez脚本语言的形态感知子词构建
计算与语言
2025-09-11 v1 人工智能
摘要
基于子词的分词方法往往难以保留形态边界，这在资源匮乏且形态复杂的Geez脚本语言中尤为突出。为此，我们提出MoVoC（Morpheme-aware Subword Vocabulary Construction），并训练MoVoC-Tok分词器，将监督形态分析集成到子词词汇中。该混合分段方法结合形态学和字节双重编码（Byte Pair Encoding, BPE）标记，既保留形态完整性，又保持词汇意义。为解决资源稀缺问题，我们收集并发布了针对四种Geez脚本语言的手动标注形态数据，以及针对两种语言的形态感知词汇。尽管所提出的分词方法在自动翻译质量上未显著带来提升，但我们观察到在内在指标（MorphoScore）和边界精度（Boundary Precision）上保持一致的改进，凸显了在增强语言忠实性和词元效率方面，形态感知分段的价值。我们将公开可用的形态标注数据集和分词器以支持低资源、形态丰富语言的进一步研究。我们的代码和数据已在GitHub上发布：https://github.com/hailaykidu/MoVoC
引用
@article{arxiv.2509.08812,
title = {MoVoC: Morphology-Aware Subword Construction for Geez Script Languages},
author = {Hailay Kidu Teklehaymanot and Dren Fazlija and Wolfgang Nejdl},
journal= {arXiv preprint arXiv:2509.08812},
year = {2025}
}
备注
This submission is approximately 10 pages in length and includes 1 figure and 6 tables