认知激活与大语言模型中的混沌动力学：基于准李亚普诺夫分析的推理机制
机器学习
2025-03-19 v1 人工智能
摘要
人类般的推理能力表现出于大型语言模型（Large Language Models, LLMs），挑战了传统神经网络理论对固定参数系统灵活性理解的能力。本文提出了“认知激活”理论，从动态系统的视角揭示了大语言模型推理机制的本质：模型的推理能力源于参数空间中动态信息提取的混沌过程。通过引入准李亚普诺夫指数（Quasi-Lyapunov Exponent, QLE），我们定量分析了模型在不同层次上的混沌特征。实验表明，模型的信息积累遵循非线性指数规律，多层感知器（Multilayer Perceptron, MLP）在最终输出中占据更高的比重，而注意力机制则贡献较小。进一步的实验表明，微小的初始值扰动会对模型的推理能力产生显著影响，确认了大语言模型是混沌系统的理论分析。这项研究为大语言模型推理提供了混沌理论框架，揭示了在模型设计中平衡创造力与可靠性的潜在路径。
引用
@article{arxiv.2503.13530,
title = {Cognitive Activation and Chaotic Dynamics in Large Language Models: A Quasi-Lyapunov Analysis of Reasoning Mechanisms},
author = {Xiaojian Li and Yongkang Leng and Ruiqing Ding and Hangjie Mo and Shanlin Yang},
journal= {arXiv preprint arXiv:2503.13530},
year = {2025}
}