通过反事实推理理解多主体系统中单个智能体的重要性
人工智能
2025-07-18 v2 多智能体系统
摘要
解释多主体系统(MAS)至关紧急，因为这些系统日益在各种应用中普及。先前的工作已为智能体的行动或状态提供了解释，但在理解黑箱化智能体在MAS中的重要性以及整体团队策略方面存在不足。为填补这一差距，我们提出了EMA I，这是一种新颖的智能体级解释方法，用于评估单个智能体的重要性。灵感来自反事实推理，随机化智能体行动导致奖励变化的程度更大，表明该智能体更重要。我们将其建模为MARL问题，以捕捉跨智能体的相互作用。利用反事实推理，EMA I学习屏蔽智能体以识别重要智能体。具体而言，我们定义优化函数以最小化行动随机化前后奖励差异，并引入稀疏约束以鼓励在训练期间探索更多智能体的行动随机化。实验结果在七个多主体任务中表明，EMA I在解释保真度方面高于基线方法，并在理解政策、发起攻击和修补政策等实际应用中提供更有效的指导。
引用
@article{arxiv.2412.15619,
title = {Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning},
author = {Jianming Chen and Yawen Wang and Junjie Wang and Xiaofei Xie and jun Hu and Qing Wang and Fanjiang Xu},
journal= {arXiv preprint arXiv:2412.15619},
year = {2025}
}