LAWS：基于符号化实际工作负载的学习——面向神经网络推理、机器人和边缘部署的自认证参数化缓存架构
机器学习
2026-05-07 v1 人工智能
信息论
神经与进化计算
math.IT
摘要
我们提出 LAWS（Learning from Actual Workloads Symbolically），一种自认证推理缓存架构，通过部署观察构建由认证专家函数组成的扩张图书馆。每个专家覆盖由基本模型的概率语言 Tries 节点定义的输入空间区域，并在所有输入上保持形式化误差界。核心结果是自认证定理：对于任意输入 x，LAWS 近似误差受 epsilon_fit + 2*Lambda(W)*C_E 界限，其中 Lambda(W) 为模型 Lipschitz 常数，C_E 为最大嵌入直径，epsilon_fit 为专家训练误差——所有指标在部署时均可在无需 ground truth 的情况下验证。我们证明 LAWS 将 Mixture-of-Experts 和 KV 前缀缓存作为特殊情况推广，且严格比任何固定-K MoE 或有限缓存更具表达性。进一步结果包括单调命中率定理（任何匹配路由确保覆盖范围仅增大）、专家库增长率为 O(2^H log N)（其中 H 为工作负载熵）、fleet learning 收敛定理以及 K 单位 fleet 的 Omega(K) 加速，以及 over-the-air 更新带宽界限。我们推测 LAWS 是 stationary 在线缓存算法中以获取最优的方案，且训练分布上有效 Lipschitz 常数随深度的增长呈多项式而非指数级增长。应用领域涵盖 LLM 推理、机器人控制和多智能体边缘部署。
引用
@article{arxiv.2605.04069,
title = {LAWS: Learning from Actual Workloads Symbolically -- A Self-Certifying Parametrized Cache Architecture for Neural Inference, Robotics, and Edge Deployment},
author = {Gregory Magarshak},
journal= {arXiv preprint arXiv:2605.04069},
year = {2026}
}
备注
45 pages. Companion paper to arXiv:2604.06228 (Probabilistic Language Tries)