使用蒙特卡洛方法的深度主动推断智能体

主动推断（active inference）是一种用于理解生物智能的贝叶斯框架。其底层理论将感知与行动统一于单一要务之下：最小化自由能。然而，尽管该理论在解释智能方面具有效用，其计算实现一直局限于低维和理想化情形。在本文中，我们提出了一种神经架构，用于构建在复杂连续状态空间中运行、并使用多种蒙特卡洛（MC）采样形式的深度主动推断智能体。为此，我们引入了一些主动推断中新颖的技术。包括：i）通过 MC 树搜索选择自由能最优策略，ii）通过前馈“习惯”网络近似该最优策略分布，iii）使用 MC dropout 预测未来的参数信念更新，以及最后，iv）优化状态转移精度（一种高级注意力形式）。我们的方法使智能体能够高效学习环境动态，同时在任务表现上保持与基于奖励的对应方法相当。我们在一个基于 dSprites 数据集的新玩具环境中说明了这一点，并证明主动推断智能体自动创建适于建模状态转移的解耦表示。在更复杂的 Animal-AI 环境中，我们的智能体（使用相同神经架构）能够模拟未来的状态转移和动作（即规划），以展现奖励导向的导航——尽管视觉输入暂时中断。这些结果表明，配备 MC 方法的深度主动推断为开发受生物启发的智能体提供了灵活框架，在机器学习和认知科学中均有应用。