破碎的词，破碎的性能：分词对 LLM 性能的影响
计算与语言
2025-12-29 v1
摘要
分词是训练任何大型语言模型 (LLM) 的第一步，在此过程中，文本根据模型的固定词表被拆分为一系列 token。LLM 中的这种分词方式不同于传统 NLP 中的分词，后者将文本拆分为一系列“自然”词。在 LLM 中，由于 LLM 词表大小有限，一个自然词也可能被拆分为多个 token（例如，Mistral 的分词器将“martial”拆分为“mart”和“ial”）。在本文中，我们假设这种自然词的拆分会对 LLM 在各种 NLP 任务上的性能产生负面影响。为了量化这种影响，我们提出了一组惩罚函数，用于计算给定文本针对特定 LLM 的分词惩罚，以指示分词的“糟糕”程度。我们在多个 NLP 任务和一系列不同的 LLM 上确立了该假设的统计显著性。
引用
@article{arxiv.2512.21933,
title = {Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs},
author = {Sachin Pawar and Manoj Apte and Kshitij Jadhav and Girish Keshav Palshikar and Nitin Ramrakhiyani},
journal= {arXiv preprint arXiv:2512.21933},
year = {2025}
}
备注
International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL 2025)