多智能体强化学习中作为涌现行为框架的奖励共享关系网络
人工智能
2022-07-15 v2 多智能体系统
社会与信息网络
摘要
本工作中，我们通过用户定义的关系网络将“社会”交互整合进 MARL 设定，并考察智能体间关系对涌现行为兴起的影响。借助社会学与神经科学的洞见，我们提出的框架利用奖励共享关系网络（RSRN）概念对智能体关系建模，其中网络边权衡量一个智能体对另一智能体成功投入（或“关切”）的程度。我们将关系奖励构造为 RSRN 交互权重的函数，通过多智能体强化学习算法对多智能体系统集体训练。系统在一个含不同关系网络结构（如利己、公社式与威权式网络）的 3-智能体场景中测试。结果表明，奖励共享关系网络能显著影响习得行为。我们假定 RSRN 可作为一种框架，其中不同关系网络产生各异的涌现行为，且常类似于对此类网络的社会学直觉理解。
引用
@article{arxiv.2207.05886,
title = {Reward-Sharing Relational Networks in Multi-Agent Reinforcement Learning as a Framework for Emergent Behavior},
author = {Hossein Haeri and Reza Ahmadzadeh and Kshitij Jerath},
journal= {arXiv preprint arXiv:2207.05886},
year = {2022}
}
备注
Presented at Adaptive and Learning Agents Workshop at AAMAS, London, UK (Virtual), visit https://sites.google.com/view/marl-rsrn for videos and more information