协同智能体网络再探
机器学习
2023-08-31 v3 人工智能
机器学习
摘要
协同智能体网络形式化了随机智能体任意网络的概念，这些智能体在强化学习环境中协作采取行动。协同智能体网络的实际突出例子包括分层强化学习（HRL）方法，例如使用选项（options）的方法，其试图通过在 HRL 智能体内序列化多个随机网络在不同层级引入抽象动作，以解决探索与利用的权衡问题。我们首先对属于协同智能体网络的大量不同例子提供一个统一的视角。为此，我们通过提出协同智能体网络中执行路径这一新颖且直观的概念，形式化了协同智能体网络中的执行规则。受分层 option-critic 架构中参数共享的启发，我们重新审视协同智能体网络理论，并利用执行路径的思想在不对协同智能体间参数共享方式作任何假设的情况下，得到了更简短的策略梯度定理证明。随后我们将设定与证明推广到包含协同智能体异步行动的场景。这一新视角与定理也带来了比现有文献中更数学严谨且性能更优的算法。最后，通过运行非平稳 RL 实验，我们考察了 option-critic 模型不同推广版本的性能和性质。
引用
@article{arxiv.2001.10474,
title = {Coagent Networks Revisited},
author = {Modjtaba Shokrian Zini and Mohammad Pedramfar and Matthew Riemer and Ahmadreza Moradipari and Miao Liu},
journal= {arXiv preprint arXiv:2001.10474},
year = {2023}
}
备注
Reformatted paper significantly and clarified results on the asynchronous case