自适应智能体群体中的集体学习理论

我们研究了同质的智能活性智能体群体，它们与邻居交换信息以执行旨在实现规定宏观状态的去中心化学习过程。例如，这些智能体可以代表简单的微型机器人。交换的信息包括控制智能体动力学的可调参数（称为个体策略），以及编码先前访问状态的内部记忆。该记忆用于评估奖励，该奖励量化了策略实现规定状态的成功程度。我们扩展了空间均匀系统中集体学习的动力学理论描述[Phys. Rev. Lett. 134, 248302 (2025)]，并推导了群体中策略分布的正式演化方程。我们理论的一个核心结果是出现了一个有效奖励函数，它完全决定了策略分布的演化，并封装了智能体物理和记忆动力学的微观细节。我们获得了策略均值和方差的封闭方程，在假设记忆和策略为高斯分布的条件下，这些方程允许显式的时间依赖解。为了说明该框架，我们提出了一系列最小微观模型，考虑了物理、记忆和策略交换时间尺度的完美和部分分离，以及具有一维和二维策略的模型。所得理论结果与基于智能体的数值模拟比较良好。该理论捕捉了集体学习的关键方面，包括群体多样性和奖励波动对学习性能的影响。最后，我们讨论了在群体机器人和机器学习中的潜在应用，并强调了与经典生物进化模型（包括复制者方程和Moran模型）的联系。