大语言模型吸引子循环：连续改写的数学动力系统视角
组合数学
2026-04-14 v2 交换代数
摘要
数学动力系统理论为分析迭代过程及其随时间演化提供了框架。在此类系统中，重复的变换可导致稳定的配置，称为吸引子，包括固定点和极限循环。将此视角应用于大语言模型（LLM），即迭代将输入文本映射到输出文本的模型，为表征其长期行为提供了原则方法。连续改写作为探索此类动力学的引人注目的测试场，因为改写以语言变异重新表达相同的基本含义。尽管预期LLM在文本空间中探索出多样化的改写集，但我们的研究显示，连续改写收敛于稳定的周期性状态，如2周期吸引子循环，限制了语言多样性。这种现象归因于LLM的自我强化本质，即它们不断偏好并放大某些文本形式。即使增加生成随机性或交替提示，此模式仍然存在。这些发现凸显了LLM生成能力的内在限制，同时为研究其表达潜力提供了新的动力学系统视角。
引用
@article{arxiv.2502.15166,
title = {Constructions of Macaulay Posets and Macaulay Rings},
author = {Penelope Beall and Erenay Boyali and Nancy Chen and Ellen Chlachidze and Trong Toan Dao and Frederic Garvey and Mitchell Johnson and Yu Olivier Li and Nikola Kuzmanovski and Kelvin Ma and Treanungkur Mal and Rukshan Marasinghe Mudiyanselage and Quinlan Mayo and Nava Minsky-Primus and Alexandra Seceleanu and Sriram Veerapaneni},
journal= {arXiv preprint arXiv:2502.15166},
year = {2026}
}
备注
Final version to appear in the Electronic Journal of Combinatorics