基于通用价值函数的智能体间时序决策中的巴甫洛夫式 signalling

在本文中，我们对巴甫洛夫式 signalling（Pavlovian signalling）——一个智能体做出的习得的时间扩展预测为另一个智能体的决策提供信息的过程——进行了多方面研究。Signalling 与时间和时序密切相关。为了生成和接收信号，人类及其他动物已知会表征时间、确定自过去事件起的时间、预测至未来刺激的时间，并识别与生成随时间展开的模式。我们通过引入一个称为 Frost Hollow 的部分可观测决策领域，研究不同的时间过程如何影响学习智能体间的协调与 signalling。在该领域中，一个预测学习智能体和一个强化学习智能体被耦合为一个两部分决策系统，致力于获取稀疏奖励同时避免时间条件性危险。我们评估了两种领域变体：在七状态线性行走中交互的机器智能体，以及在虚拟现实环境中的人机交互。我们的结果展示了巴甫洛夫式 signalling 的学习速度、不同时间表征对智能体间协调所产生（以及未产生）的影响，以及时间混叠如何以不同方式影响智能体-智能体和人-智能体交互。作为主要贡献，我们确立了巴甫洛夫式 signalling 作为固定 signalling 范式与两智能体间完全自适应通信学习之间的自然桥梁。我们进一步展示了如何由一个固定 signalling 过程计算构建该自适应 signalling 过程，其特征是快速的持续预测学习以及对接收信号的智能体性质的最小约束。因此，我们的结果提出了一种通向强化学习智能体间通信学习的可行建构主义路径。