LLM-as-a-service 的分词多性导致任意价格变动
计算与语言
2026-02-02 v2 人工智能
机器学习
机器学习
摘要
LLM-as-a-service 提供商主要采用简单定价模式：用户按 token 固定价格付费。因此，人们可能认为，两个不同用户在相同的输出字符串下以相同的输入提示支付的价格是相同的。然而，我们的工作表明，这并非总是如此。我们发现，尤其是针对非英语输出，专有和开源 LLMs 常常以不同的分词方式生成相同的（输出）字符串，即使在相同的输入提示下，也会导致任意的价格变动。为解决分词多性问题，我们引入了标准化生成 (canonical generation)，这是一种受限生成类型，通过限制 LLMs 只能生成标准化分词——即在 LLM 训练期间对每个字符串进行分词的唯一方式。进一步，我们基于 Gumbel-Max trick 引入了一种高效采样算法，用于标准化生成。实验在多种自然语言任务上进行，表明我们的采样算法在性能和运行时间方面与标准采样相当，并且解决了分词多性问题。
引用
@article{arxiv.2506.06446,
title = {Tokenization Multiplicity Leads to Arbitrary Price Variation in LLM-as-a-service},
author = {Ivi Chatzi and Nina Corvelo Benz and Stratis Tsirtsis and Manuel Gomez-Rodriguez},
journal= {arXiv preprint arXiv:2506.06446},
year = {2026}
}