基于上下文感知深度 Q 网络的无通信机器人集群分散式协同侦察
多智能体系统
2020-11-16 v2
摘要
基于机器人集群作战的关键问题之一，是在未知且不确定的环境中搜索并中和异质目标，且集群内部无任何通信。此处，某些目标可由单个机器人中和，而另一些则需要多个机器人按特定顺序协同中和。该问题的复杂性源于可扩展性与信息不确定性，这限制了机器人对集群及目标分布的感知。本文提出一种新颖的上下文感知深度 Q 网络（CA-DQN）框架来解决此问题，以实现集群中机器人间的无通信协作。每个机器人维护一个嵌入上下文信息的自适应栅格化邻域表示，以在搜索与中和目标时保持集群完整。问题表述采用强化学习框架，其中两个深度 Q 网络（DQN）分别处理“冲突”与“无冲突”场景。采用基于自博弈的方法来确定 DQN 的最优策略。通过蒙特卡洛仿真以及与最先进的联盟形成算法的对比研究，验证了 CA-DQN 在不同环境参数下的性能。结果表明，该方法对检测到的目标数量和集群中机器人数量均保持不变性。本文还展示了在实验室环境中使用地面机器人针对不同场景对 CA-DQN 的实时实现，以证明 CA-DQN 在低功耗计算设备上的工作能力。
引用
@article{arxiv.2001.11710,
title = {Context-Aware Deep Q-Network for Decentralized Cooperative Reconnaissance by a Robotic Swarm},
author = {Nishant Mohanty and Mohitvishnu S. Gadde and Suresh Sundaram and Narasimhan Sundararajan and P. B. Sujit},
journal= {arXiv preprint arXiv:2001.11710},
year = {2020}
}
备注
"For associated video file, refer to http://bit.ly/cadqnvideo"