基于卷积与图神经网络的可扩展感知-动作-通信回路
机器人学
2021-11-08 v2 机器学习
多智能体系统
系统与控制
信号处理
系统与控制
摘要
在本文中，我们提出一种使用基于视觉的图聚合与推断（VGAI）的感知-动作-通信回路设计。这一多智能体分散式学习控制框架将原始视觉观测映射为智能体动作，并借助相邻智能体间的局部通信实现。我们的框架由卷积神经网络与图神经网络（CNN / GNN）级联实现，分别处理智能体级视觉感知与特征学习，以及群体级通信、局部信息聚合与智能体动作推断。通过联合训练 CNN 与 GNN，图像特征与通信消息被协同学习以更好地解决特定任务。我们使用模仿学习在离线阶段训练 VGAI 控制器，依赖于一个集中式专家控制器。由此得到的学习型 VGAI 控制器可分布式部署用于在线执行。此外，该控制器展现出良好的可扩展特性，可在较小团队中训练并应用于较大团队。通过一个多智能体集群应用，我们证明 VGAI 仅使用视觉输入模态且无需获取精确位置或运动状态信息，即可取得与其他分散式控制器相当或更优的性能。
引用
@article{arxiv.2106.13358,
title = {Scalable Perception-Action-Communication Loops with Convolutional and Graph Neural Networks},
author = {Ting-Kuei Hu and Fernando Gama and Tianlong Chen and Wenqing Zheng and Zhangyang Wang and Alejandro Ribeiro and Brian M. Sadler},
journal= {arXiv preprint arXiv:2106.13358},
year = {2021}
}