使用(循环)神经网络通过强化学习涌现的通信
人工智能
2017-05-17 v2
摘要
通信不仅是选择信号的动作，还需要考虑上下文和传感器信号。它还需要决定通信什么信息以及如何将其表示在信号中或从信号中理解。因此，通信应与其目的和其他功能一起综合实现。端到端强化学习(RL)近期的成功结果展示了综合学习的重要性和端到端RL的有效性。尽管所知甚少，但我们已经表明，通过使用(循环)神经网络(NN)的RL可以涌现出多种通信。在此，我们介绍其中三种。第一种学习了避免4个随机选取的智能体之间冲突的协商。每个智能体从其循环神经网络(RNN)的输出生成一个二进制信号，并从其他智能体接收4个信号，共三次。学习后，对于4个智能体的任意组合，每个智能体都能在协商后做出适当的最终决策。还可以看到智能体之间个性的分化。第二种关注通信信号的离散化。发送方智能体感知接收方的位置，并通过其RNN两次生成连续信号。接收方智能体依次接收它们，并根据其RNN的输出移动以到达发送方的位置。当向信号中加入噪声时，通过学习将其二值化，并建立了2比特通信。第三种关注端到端综合通信。发送方接收1,785像素的真实相机图像，其中可以看到一个真实的机器人，并发送两个声音，其频率由其NN计算。接收方接收它们，并由其NN生成机器人的两个运动命令。学习后，尽管发送方需要进行一些预学习，机器人可以从任意初始位置到达目标。
引用
@article{arxiv.1703.03543,
title = {Communications that Emerge through Reinforcement Learning Using a (Recurrent) Neural Network},
author = {Katsunari Shibata},
journal= {arXiv preprint arXiv:1703.03543},
year = {2017}
}
备注
The Multi-disciplinary Conference on Reinforcement Learning and Decision Making (RLDM) 2017, 5 pages, 7 figures