自由能投影仪模拟（FEPS）：可解释性主动推断

过去十年，自由能原理（FEP）和主动推断（AIF）在将概念学习与认知模型与感知与行动的数学模型相连接方面取得了许多成功。该努力由于多学科兴趣驱动，旨在理解自组织复杂自适应系统的各个方面，包括代理元素。各种强化学习（RL）模型正在进行主动推断，并使用深度神经网络在标准RL任务上进行训练。最近的工作聚焦于通过纳入最新的机器学习技术来提高代理在复杂环境中的性能。在本文中，我们采取一种替代方法。在自由能原理（FEP）和主动推断（AIF）所施加的约束内，我们尝试以可解释的方式建模代理，方法是引入自由能投影仪模拟（FEPS）。使用内部奖励，FEPS代理构建其对部分可观测环境的表示，并与之交互。遵循AIF，实现给定任务的策略从该世界模型派生，通过最小化预期自由能。凭借模型的可解释性，引入了处理长期目标和减少由错误隐藏状态估计导致的预测误差的技术。我们在两个受行为生物学启发的RL环境中测试了FEPS模型：一个计时响应任务和一个部分可观测网格中的导航任务。我们的结果表明，FEPS代理通过仅基于预测准确性对其观察结果进行适当的语境化，完全解决了两个环境的歧义。此外，它们能够灵活地为环境中的任何目标观察结果推断最优策略。