使用深度Q学习动态切换计算信任机制中的推/拉动作

针对开放多智能体系统的去中心化计算信任模型的最新研究催生了CA模型，这是一种受生物学启发、聚焦于受托者视角的模型。该模型解决了现有信任与声誉模型中一个严重的未解决问题，即无法处理不断变化的行为以及智能体持续进出系统的情况。在先前的工作中，我们将CA与著名的信任与声誉模型FIRE进行了比较，发现当委托者群体变化时CA表现更优，而FIRE对受托者群体变化更具鲁棒性。因此，本文研究委托者如何检测环境中多种动态因素的存在，并决定采用哪种信任模型以最大化效用。我们将此问题建模为部分可观测环境中的机器学习问题，其中多种动态因素的存在对委托者而言是未知的，并描述了一个可适应的委托者如何依赖少量可测量特征来评估环境的当前状态，然后在单智能体强化学习设置中使用深度Q学习（DQN）来学习如何适应变化的环境。我们进行了一系列仿真实验，将可适应委托者的性能与仅使用单一模型（FIRE或CA）的委托者进行比较，结果表明可适应智能体确实能够学习何时使用每个模型，从而在动态环境中保持一致的性能。