集体可解释人工智能：基于沙普利值解释多智能体强化学习中的合作策略与智能体贡献
人工智能
2021-10-05 v1 计算机科学与博弈论
机器学习
多智能体系统
摘要
尽管可解释人工智能（XAI）正日益拓展其应用领域，但鲜有研究致力于使深度强化学习（RL）更易被理解。随着RL变得无处不在并用于关键及面向公众的应用，开发使其更易理解和更具可解释性的方法至关重要。本研究提出一种新方法，利用沙普利值（一种用于XAI的博弈论概念，已成功解释机器学习算法决策背后的原理）来解释多智能体RL中的合作策略。通过在两个以合作为中心且具有社会挑战性的多智能体环境中检验该技术的常见假设，本文论证沙普利值是评估合作多智能体RL情境中参与者贡献的恰当方式。为缓解该方法的高开销，使用蒙特卡洛采样近似沙普利值。在多智能体粒子环境和序列社会困境上的实验结果表明，沙普利值能成功估计每个智能体的贡献。这些结果的影响可能超越经济学中的博弈（例如，用于无歧视决策、符合伦理与负责任的人工智能衍生决策，或公平约束下的政策制定）。它们也揭示了沙普利值仅能提供关于模型的笼统解释，无法解释单次运行、单幕或证明智能体采取的具体动作。未来工作应聚焦于解决这些关键方面。
引用
@article{arxiv.2110.01307,
title = {Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values},
author = {Alexandre Heuillet and Fabien Couthouis and Natalia Díaz-Rodríguez},
journal= {arXiv preprint arXiv:2110.01307},
year = {2021}
}
备注
Submitted to IEEE Computational Intelligence Magazine