一种用于可解释性和概率决策的多智能体强化学习神经符号方法
人工智能
2024-02-22 v1 神经与进化计算
摘要
多智能体强化学习 (MARL) 非常适合于优化多个智能体共存并竞争共享资源的系统运行时的决策性能。然而，将常见的基于深度学习的 MARL 解决方案应用于现实世界问题时，存在可解释性、样本效率、部分可观测性等问题。为了解决这些挑战，我们提出了一种事件驱动的公式，其中决策由使用神经符号方法的分布式协作 MARL 智能体处理。最近引入的神经符号逻辑神经网络 (LNN) 框架作为 RL 的函数逼近器，用于训练一个在构造上既符合逻辑又可解释的基于规则的策略。为了在不确定的和部分可观测的情况下实现决策，我们开发了一种新颖的概率神经符号框架——概率逻辑神经网络 (PLNN)，它将逻辑推理能力与概率图模型相结合。在 PLNN 中，继承自 LNN 的向上/向下推理策略与信念界限相结合，方法是将与每个神经网络节点相关联的逻辑算子的激活函数设置为尊重概率的 Fr\'echet 不等式推广。这些 PLNN 节点构成了结合概率逻辑和贝叶斯网络的统一元素，允许对具有未观测状态的变量进行推理。我们通过解决片上系统应用中功率共享的关键 MARL 挑战来展示我们的贡献。
引用
@article{arxiv.2402.13440,
title = {A Neuro-Symbolic Approach to Multi-Agent RL for Interpretability and Probabilistic Decision Making},
author = {Chitra Subramanian and Miao Liu and Naweed Khan and Jonathan Lenchner and Aporva Amarnath and Sarathkrishna Swaminathan and Ryan Riegel and Alexander Gray},
journal= {arXiv preprint arXiv:2402.13440},
year = {2024}
}