除了这个什么都能说：当分词器背叛LLM推理时
计算与语言
2026-01-22 v1 人工智能
摘要
大型语言模型（LLM）在离散的token ID序列上进行推理，然而现代子词分词器通常会产生非唯一编码：多个token ID序列可以解码为相同的表面字符串。这种表示上的不匹配造成了一种未被测量的脆弱性，导致推理过程可能失败。LLM可能将两种内部表示视为不同的“词”，即使它们在文本层面上语义相同。在这项工作中，我们展示了一对多token ID映射导致分词器能够背叛LLM推理。我们引入了一个分词一致性探针，要求模型在上下文中替换指定的目标词，同时保持所有其他内容不变。该任务在表面层面上故意设计得简单，使我们能够将失败归因于分词器-解码器伪影，而非知识差距或参数限制。通过对最先进的开源LLM进行超过11000次替换试验的分析，我们发现存在一定比例的输出表现出幻影编辑：模型在正确推理的错觉下运行的情况，这是一种由分词器引起的表示缺陷所产生的现象。我们进一步分析了这些情况，并提供了八种系统性分词器伪影的分类，包括空白边界偏移和词内重新分割。这些发现表明，部分明显的推理缺陷源于分词器层，这促使在承担训练更大模型于更大语料库的成本之前，先采取分词器层面的补救措施。
引用
@article{arxiv.2601.14658,
title = {Say Anything but This: When Tokenizer Betrays Reasoning in LLMs},
author = {Navid Ayoobi and Marcus I Armstrong and Arjun Mukherjee},
journal= {arXiv preprint arXiv:2601.14658},
year = {2026}
}