评估 70 种语言中词元化器的形态学对齐性
计算与语言
2025-07-10 v1
摘要
虽然词元化是语言建模中的关键步骤，对模型训练和性能有影响，但如何有效评估词元化器的质量仍不明确。一种被提出的词元化质量维度是词元化器保留语言上有意义子词的程度，即词元边界与单词内部形态学边界的对齐程度。我们将 MorphScore（Arnett & Bergen, 2025）扩展到支持 70 种语言的规模。更新后的 MorphScore 提供了更灵活的评估选项，并解决了原始版本的一些局限性。随后我们将我们的对齐得分与 7 个下游任务上 5 个预训练语言模型的表现相关联，其中每个语言样本中至少有一个任务。我们发现，形态学对齐并不能解释模型性能中很大比例的方差，表明形态学对齐本身不足以衡量与模型性能相关的词元化质量维度。
关键词
引用
@article{arxiv.2507.06378,
title = {Evaluating Morphological Alignment of Tokenizers in 70 Languages},
author = {Catherine Arnett and Marisa Hudspeth and Brendan O'Connor},
journal= {arXiv preprint arXiv:2507.06378},
year = {2025}
}
备注
6 pages, 3 figures. Accepted to the Tokenization Workshop at ICML 2025