大语言模型的数值不稳定性与混沌：量化其不可预测性

随着大语言模型 (Large Language Models, LLMs) 越来越多地被集成到 agentic 工作流程中，其源于数值不稳定性的不可预测性已成为关键可靠性问题。虽然最近的研究表明，这些不稳定性具有显着的下游影响，但根本原因和底层机制仍不完全了解。本文我们对如何通过浮点表示的有限数值精度导致不可预测性的严格分析，追踪舍入误差如何通过 Transformer 计算层传播、放大或消散。具体而言，我们识别出早期层中的一种混沌“雪崩效应”，其中微小扰动触发二元结果：要么快速放大，要么完全衰减。除了特定错误实例之外，我们证明 LLMs 表现出通用、取决规模的混沌行为，特征为三个 distinct regime：1) 稳定 regime，在此 regime 中，扰动低于输入依赖阈值并消失，导致恒定输出；2) 混沌 regime，在此 regime 中，舍入误差主导并驱动输出发散；3) 信号支配 regime，在此 regime 中，真实输入变化覆盖数值噪声。我们在多个数据集和模型架构上广泛验证了这些发现。