多专家编排中解耦因果重要性与涌现结构
机器学习
2026-02-05 v1 人工智能
多智能体系统
摘要
多专家系统（即多个大型语言模型协作解决复杂任务的系统）日益增长地被采用以实现高性能推理和生成。然而，主导专家交互和排序的编排策略仍然基本不透明。我们引入INFORM，这是一种可解释性分析，将编排视为可被显式分析的计算，从而实现对专家交互结构、执行顺序和因果归因的解耦。我们使用INFORM评估了一个在GSM8K、HumanEval和MMLU上的编排器，该编排器使用来自LLaMA-3.1 8B、Qwen-3 8B和DeepSeek-R1 8B的十个指令微调专家组成的齐同联盟，控制解码温度变化，并使用覆盖1B-7B参数模型的次异构联盟。跨所有任务，路由主导性是功能必要性的poor proxy。我们揭示了路由质量与相互作用拓扑所捕获的关系重要性，与通过梯度基于因果归因所测量的内在重要性之间的差异：频繁选择的专家往往是互动枢纽，因果影响有限；而稀疏路由的专家可在结构上至关重要。编排行为是异步方式涌现的，专家集中化在稳定路由置信度之前起到作用，专家排序保持非确定性。针对性消融实验表明，屏蔽内在重要的专家会导致互动结构的非比例性坍缩，与屏蔽频繁的同僚相比，这一发现表明INFORM能够暴露超越准确度指标之外的因果和结构依赖关系。
引用
@article{arxiv.2602.04291,
title = {Disentangling Causal Importance from Emergent Structure in Multi-Expert Orchestration},
author = {Sudipto Ghosh and Sujoy Nath and Sunny Manchanda and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2602.04291},
year = {2026}
}