异构信息瓶颈协调图用于多主体强化学习
人工智能
2026-05-19 v1 机器学习
多智能体系统
摘要
协调图是合作多主体强化学习(MARL)中的核心抽象，但现有的稀疏图学习器缺乏决定哪些边应存在以及每条边应携带多少信息的理论依据。现有方法依赖于启发式标准，无法对学习得到的拓扑结构提供形式保证，亦没有原则性的方式来分配结构不同代理人关系的不同通信容量。在此基础上，我们提出了异构信息瓶颈协调图(HIBCG)，通过图信息瓶颈(GIB)作为底层工具，学习出一个在边缘存在性和消息容量方面都有理论依据的群组感知稀疏图。首先，HIBCG构建一个与群组对齐的块对角先验，提供一种用于边保留的闭式准则——确定哪些边应存在以及每个群组块的保留密度——然后控制每个代理人特征的带宽，将消息压缩以仅保留任务相关内容。我们证明了群组对齐的先验严格地紧密了对拓扑学习的变分下界，目标在每个群组块上分解，实现差异化边缘控制，容量分配遵循水滴填充原理。
引用
@article{arxiv.2605.17393,
title = {Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning},
author = {Wei Duan and Junyu Xuan and En Yu and Xiaoyu Yang and Jie Lu},
journal= {arXiv preprint arXiv:2605.17393},
year = {2026}
}