字符串有多长？分词器的简要实证分析
计算与语言
2026-01-19 v1
摘要
前沿 LLM 越来越广泛地应用于学术界、社会和工业界。用于比较模型及其输入与输出，以及估算推理定价的一个常用单位是 token。通常，token 被用作一种稳定的通货，被假定在不同分词器和上下文中大体一致，从而能够进行直接比较。然而，不同模型和文本领域的分词差异显著，使得对 token 计数的朴素解释存在问题。我们通过提供对分词的全面实证分析来量化这种差异，探讨了在不同文本数据分布下从序列到 token 的压缩情况。我们的分析挑战了关于 token 长度的常见启发式规则，发现它们过于简单化。我们希望本研究的见解能为当代 LLM 中的分词提供更清晰的认识和直觉。
引用
@article{arxiv.2601.11518,
title = {How Long Is a Piece of String? A Brief Empirical Analysis of Tokenizers},
author = {Jonathan Roberts and Kai Han and Samuel Albanie},
journal= {arXiv preprint arXiv:2601.11518},
year = {2026}
}