趋同进化：不同语言模型如何学习相似的数字表示
计算与语言
2026-04-23 v1 人工智能
机器学习
摘要
在自然文本上训练的语言模型学习使用具有主周期 T=2, 5, 10 的周期性特征来表示数字。本文中，我们识别出这些特征的一个两层层次结构：虽然以不同方式训练的 Transformer、线性 RNN、LSTM 和经典词嵌入都学习到了在傅里叶域中具有周期-T 尖峰的特征，但只有部分模型学习到了可用于对数字进行模-T 线性分类的几何可分离特征。为解释这种不一致性，我们证明了傅里叶域稀疏性是模-T 几何可分离性的必要但不充分条件。通过实验，我们研究了模型训练何时产生几何可分离特征，发现数据、架构、优化器和分词器都起着关键作用。特别是，我们识别出模型获取几何可分离特征的两条不同路径：它们可以从通用语言数据中的互补共现信号（包括文本-数字共现和跨数字交互）中学习，或者从多 token（而非单 token）加法问题中学习。总体而言，我们的结果突显了特征学习中的趋同进化现象：多样化的模型从不同的训练信号中学习到相似的特征。
引用
@article{arxiv.2604.20817,
title = {Convergent Evolution: How Different Language Models Learn Similar Number Representations},
author = {Deqing Fu and Tianyi Zhou and Mikhail Belkin and Vatsal Sharan and Robin Jia},
journal= {arXiv preprint arXiv:2604.20817},
year = {2026}
}