大型语言模型中吸引子循环的解析：连续改写的数学动力系统视角

数学动力系统理论为分析迭代过程和随时间演化提供了框架。在此类系统中，重复的转换可导致稳定配置，称为吸引子，包括固定点和极限循环。将此视角应用于大型语言模型（LLMs），因为它们会迭代地将输入文本映射到输出文本，从而为表征其长期行为提供了原则方法。连续改写作为探索此类动力学的引人注目的测试场，因为改写以不同的语言形式重新表达相同的基本含义。尽管预期LLMs在文本空间中会探索多样化的改写集合，但我们的研究显示，连续改写会收敛到稳定的周期状态，如2周期吸引子循环，从而限制了语言多样性。这种现象归因于LLMs的自我强化本质，即它们会迭代地偏好并放大某些文本形式。这种模式在增加生成随机性或交替提示和LLMs时仍然存在。这些发现概括了LLMs生成能力的内在限制，同时为研究其表达潜能提供了新的动力系统视角。