霜谷实验:将巴甫洛夫式信号传递作为智能体间协调与通信的路径

当面对任何单一智能体孤立难以克服的决策问题时,智能体间习得通信是一种有力工具。然而,机器智能体之间或人机协作中的持续协调与通信学习仍是一个具挑战性的开放问题。作为解决持续通信学习问题的垫脚石,本文对我们所称的巴甫洛夫式信号传递(Pavlovian signalling)——一个智能体作出的习得、时间扩展预测为另一具有不同环境感知通道的智能体的决策提供信息的过程——进行了多方面研究。我们试图确立不同的时间过程与表征选择如何影响学习智能体间的巴甫洛夫式信号传递。为此,我们引入了一个称为霜谷(Frost Hollow)的部分可观测决策领域。在该领域中,一个预测学习智能体与一个强化学习智能体耦合为一个两部件决策系统,力求获取稀疏奖励同时规避时间条件性危险。我们评估了两种领域变体:1) 线性行走中的机器预测与控制学习,以及 2) 预测学习机器与虚拟现实环境中人类参与者的交互。我们的结果展示了巴甫洛夫式信号传递的学习速度、不同时间表征对智能体-智能体协调所产生(或未产生)的影响,以及时间混叠如何以不同方式影响智能体-智能体与人类-智能体交互。作为主要贡献,我们确立了巴甫洛夫式信号传递作为固定信号范式与完全自适应通信学习之间的自然桥梁。因此,我们的结果指向了一条可操作的、建构主义的路径,以实现强化学习智能体间的持续通信学习,并在一系列真实世界场景中具有潜在影响。