TokSuite: 测量分词器选择对语言模型行为影响的工具包
计算与语言
2025-12-25 v1 机器学习
摘要
分词器是文本表示与处理语言模型的基础. 尽管分词的重要性已广为人知, 但其对语言模型性能与行为的影响仍鲜有理解, 因单独衡量分词影响极具挑战性. 为此, 本文提出TokSuite, 一个包含多个模型与基准测试的集合, 支持研究分词对语言模型影响的探索. 具体而言, 我们训练了14个模型, 这些模型使用不同分词器, 但其余条件相同, 包括相同的架构、数据集、训练预算与初始化. 此外, 我们策划并公开全新的基准测试, 专门衡量模型在受现实扰动影响的情形下的表现, 这些扰动可能影响分词. TokSuite实现了对模型分词影响的有效解耦, 支持一系列新发现, 揭示广泛流行分词器的各类优势与局限.
引用
@article{arxiv.2512.20757,
title = {TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior},
author = {Gül Sena Altıntaş and Malikeh Ehghaghi and Brian Lester and Fengyuan Liu and Wanru Zhao and Marco Ciccone and Colin Raffel},
journal= {arXiv preprint arXiv:2512.20757},
year = {2025}
}