为何大模型推理在训练后变得可分解

大规模 AI 模型的推理通常在稠密参数矩阵上执行，导致推理成本和系统复杂度随模型规模不可持续地增长。这一限制并非源于模型容量不足，而是因为将训练后的推理系统视为整体算子，却忽略了训练过程中形成的内部结构。我们证明，大模型中的梯度更新事件具有高度局部性和选择性，使得许多参数依赖关系在训练后与初始化分布在统计上无法区分。因此，训练后的推理系统在结构上是非均匀的，且本质上可分解。基于这一观察，我们引入了一种训练后统计准则和结构退火过程，用于移除无支持的依赖关系，并揭示稳定的独立子结构。这项工作为推理系统建立了一种训练后、模型无关的结构化视角，并能在不修改模型功能或接口的情况下实现结构化并行推理。