变换器是否具有周期性泛化能力？
机器学习
2026-02-02 v1 人工智能
摘要
基于变换器的大型语言模型 (LLM) 在各种任务上显示出强大的性能。然而，当前模型在跨分布 (OOD) 泛化方面仍与人类存在显著差距。我们通过周期性这一基本 OOD 场景来探讨这一差距。周期性捕捉了在变化中的不变性。周期性泛化代表了模型从训练数据中提取周期模式并泛化到 OOD 场景的能力。我们从抽象代数和推理的角度引入了关于周期性的统一解释，包括单周期和复合周期，以解释变换器为何难以进行周期性泛化。随后我们构建了 Coper 关于复合周期性的可控生成基准，包含 Hollow 和 Extrapolation 两个 OOD 设置。实验结果表明，变换器的周期性泛化受限，即使模型能够在训练期间记忆周期数据，却无法泛化到未见的复合周期性。我们公开源代码以支持未来研究。
引用
@article{arxiv.2601.22690,
title = {Do Transformers Have the Ability for Periodicity Generalization?},
author = {Huanyu Liu and Ge Li and Yihong Dong and Sihan Wu and Peixu Wang and Sihao Cheng and Taozhi Chen and Kechi Zhang and Hao Zhu and Tongxuan Liu},
journal= {arXiv preprint arXiv:2601.22690},
year = {2026}
}