AgentSHAP：基于蒙特卡洛Shapley值估计的LLM代理工具重要性解释
人工智能
2025-12-16 v1 计算与语言
摘要
使用外部工具的LLM代理能够解决复杂任务，但理解哪些工具实际上对响应作出贡献 remains 一个盲点。目前不存在任何XAI方法针对工具级别的解释。我们引入AgentSHAP，这是第一个用于解释LLM代理工具重要性的框架。AgentSHAP是模型无关的：它将代理视为黑盒子，无需访问内部权重或梯度即可与任何LLM (GPT、Claude、Llama等) 合作。通过蒙特卡洛Shapley值，AgentSHAP测试不同工具子集下的代理响应，并基于博弈论计算公平的重要性得分。我们的贡献包括：(1)首个基于博弈论Shapley值进行代理工具归因的可解释性方法；(2)降低计算成本从O(2n) 降至实际水平的蒙特卡洛抽样；(3)在API-Bank上的全面实验表明，AgentSHAP在不同运行中产生一致的得分，正确识别哪些工具重要，区分相关与不相关的工具。AgentSHAP加入TokenSHAP (用于标记) 和PixelSHAP (用于图像区域)，以完成针对现代生成式AI的Shapley-based XAI工具系列。代码：https://github.com/GenAISHAP/TokenSHAP。
引用
@article{arxiv.2512.12597,
title = {AgentSHAP: Interpreting LLM Agent Tool Importance with Monte Carlo Shapley Value Estimation},
author = {Miriam Horovicz},
journal= {arXiv preprint arXiv:2512.12597},
year = {2025}
}