日期片段：标记化时间推理的隐藏瓶颈

现代 BPE 标记化器常将日历日期分割为无意义的碎片，例如 20250312 $\rightarrow$ 202, 503, 12，这会导致标记计数膨胀，掩盖对稳健时间推理所必需的内在结构。本文我们（1）引入一种简单且可解释的度量，称为日期碎片比率，用于衡量标记化器对多位数日期组件的保存程度；（2）发布 DateAugBench，一个包含 6500 个示例的套件，涵盖三个时间推理任务：基于上下文的日期解析、格式不变性谜题和跨历史、当代和未来时间段的日期算术；（3）通过层级探针和因果注意力跳分析，发现大型语言模型中存在一种新兴的日期抽象机制，使得模型能够拼接月份、日期和年份组件的碎片，以进行时间推理。我们的实验表明，碎片化程度与在不常见日期（如历史和未来日期）上的准确率下降最高可达 10 分相关。进一步地，我们发现模型越大，完成新兴日期抽象以修复日期碎片所需的时间越短。最后，我们观察到 LLMs 按照何种路径来拼接日期碎片，通常与人类的解释不同（年份 $\rightarrow$ 月份 $\rightarrow$ 日期）。我们的数据集和代码已公开 disponible \href{https://github.com/gagan3012/date-fragments}{here}。