QUIVER：量化复合 AI 系统中扰动传播与分叉的形式框架
人工智能
2026-05-26 v1 机器学习
多智能体系统
摘要
将多个 LLM 调用链式连接成有向计算图的复合 AI 系统已成为生产 AI 的主导架构。尽管这些架构利用具有混合模式输出的异构节点，但现有框架没有量化这些管道中扰动如何传播的工具，其中节点是随机的，执行路径可以结构性地发散。我们引入 QUIVER，一个用于衡量图结构 LLM 管道中扰动传播的形式框架。该框架定义：（1）带类型分派距离度量的灵敏度矩阵，将边分类为放大器、吸收器或阈值敏感器，补充出现提升；（2）轨迹发散分解变异为值漂移、结构路径发散和迭代计数发散；（3）分叉阈值，识别导致结构执行路径变化的最小扰动；（4）分布忠诚度，量化每个节点评估数据集如何偏离生产分布。我们在两个生产企业管道和一个公开的 DSPy 多跳 QA 管道上进行验证，三个结构上互不相同的架构。在 8200 多条受仪器监控的轨迹（32000 多对比较）中，我们展示了 QUIVER 揭示不同架构的独特灵敏度轮廓、区分产生相同发散率但机制不同的级联模式、从观察数据alone 预测易发生轨迹分叉的节点、并将特定节点-字段类别中失效的评估制品局部化，这些都无法被聚合指标所揭示。
引用
@article{arxiv.2605.23956,
title = {QUIVER: A Formal Framework for Quantifying Perturbation Propagation and Bifurcation in Compound AI Systems},
author = {Prashanti Nilayam and Sankalp Nayak},
journal= {arXiv preprint arXiv:2605.23956},
year = {2026}
}