后继表示主动推断

近期研究揭示了经典强化学习算法、贝叶斯滤波与主动推断之间的密切联系，使我们能从贝叶斯后验的角度理解价值函数。另一种较少被探索的无模型 RL 算法是后继表示，其将价值函数表达为期望未来状态占据的后继矩阵。在本文中，我们推导了后继表示在贝叶斯滤波下的概率解释，从而设计了一种利用后继表示而非基于模型规划的新型主动推断智能体架构。我们展示了主动推断后继表示相较于当前主动推断智能体在规划时域与计算代价上具有显著优势。此外，我们展示了后继表示智能体如何泛化到变化的奖励函数，例如期望自由能的变体。