BOHM:针对复合 AI 系统的零成本层次归因
摘要
复合 AI 系统通过专门组件的层次结构来路由任务。归因主要依赖基于 Shapley 的方法 (SHAP),其将联合价值函数分解为各组件的边际贡献,并要求对任意组件子集进行系统评估。该要求对第三方 API、不透明端点以及集中路由于少数工具的 agentic 编排器而言不可行,导致大多数联合无法从部署的编排器中进行评估。我们引入 BOHM,直接从路由权重中提取层次归因树:叶子归因为从根到叶子的路由权重之积;第 k 层归因为深度为 k 的节点分布。该方法零增量成本,无需访问组件内部,同时在每个层面同时提供多分辨率归因,而平坦方法在任何评估预算下都无法做到。BOHM 和 SHAP 回答不同问题,当部署路由近似最优时会收敛。在 18 个 LLM 层次结构(3 层,880 个 LiveCodeBench 问题)上,BOHM 的 Kendall tau 为 0.928,而 SHAP 在每个随机种子下评估的 coalition 数量是 BOHM 的 9000 倍时达到 tau=0.980。在一个包含 5 位驱动者、7 个基准测试的 agentic 研究中(35 个单元格,完全覆盖),驱动者将路由集中在单个工具上(top-share 中位数为 0.65),且单元格级别的 tau(BOHM,SHAP) 取决于该驱动者首选的工具是否为经验上最佳工具(平均 +0.22 vs ~+0.01)。在美国人口普查局层次结构中(475 个叶子,4 层),BOHM 在每个层面恢复地面真相排名(tau 最高达 0.722)。BOHM 满足效率、单调性、对称性和弱抑制,但不满足 Shapley 的可加性。它最佳的理解方式是一种补充原始方法:一种可在任何存在路由状态的地方计算的多分辨率分解,其与 Shapley 的不一致本身即为诊断信号。
引用
@article{arxiv.2605.22866,
title = {BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems},
author = {Joss Armstrong},
journal= {arXiv preprint arXiv:2605.22866},
year = {2026}
}
备注
35 pages, 10 figures, 20 tables