大语言模型中的潜在轨迹动力学：流形演化框架与实证验证
计算与语言
2026-05-05 v3 人工智能
摘要
理解潜在表示在生成过程中如何演化，是大语言模型可解释性领域的一个核心开放问题。我们引入了 \textbf{动力学流形演化理论}（Dynamical Manifold Evolution Theory, DMET），这是一个现象学框架，将 LLM 生成建模为沿低维语义流形上的轨迹演化的受控动力系统。DMET 形式化了 Transformer 组件与由语义势 控制的一阶常微分方程（ODE）之间的结构对应关系，并通过三个可证伪的代理指标来表征轨迹几何：状态连续性 、吸引子聚类质量 和拓扑持久性 ，分别针对局部平滑性、介观尺度的吸引子盆地结构和全局拓扑组织。在六种模型架构、四种任务类型和 1,080 次实验运行中，在控制了解码参数后，所有三个指标均能一致地预测文本质量结果——对数困惑度、语法正确性和跨句连贯性，且这些关联在 Benjamini--Hochberg 校正后依然显著。消融和健全性检查实验证实，这些效应源于真实的轨迹结构，而非静态分布假象。此外，对 的在线监测驱动了一个自适应解码控制器，相较于固定参数基线，该控制器将困惑度从 48.5 降至 14.6，这表明潜在动力学表征可直接转化为可操作的生成控制。
引用
@article{arxiv.2505.20340,
title = {Latent Trajectory Dynamics in Large Language Models: A Manifold Evolution Framework with Empirical Validation},
author = {Yukun Zhang and Qi Dong and Mengkang Li},
journal= {arXiv preprint arXiv:2505.20340},
year = {2026}
}