解构深度主动推断

主动推断是一种关于感知、学习与决策的理论，可应用于神经科学、机器人与机器学习。近期，研究正利用蒙特卡洛树搜索和深度学习来扩展该框架。此活动的目标是使用深度主动推断解决更复杂的任务。首先，我们回顾现有文献，随后逐步构建一个深度主动推断智能体。对于两个智能体，我们实验了五种期望自由能定义和三种不同动作选择策略。根据我们的实验，能够解决dSprites环境的模型是那些最大化奖励的模型。最后，我们使用中心核对齐比较各智能体层所学表示的相似性。重要的是，最大化奖励的智能体与最小化期望自由能的智能体学到非常相似的表示，除了评判网络最后一层（反映学习目标差异）以及转移和编码器网络的方差层。我们发现最大化奖励的智能体比最小化期望自由能的智能体确定性强得多。这是因为最小化期望自由能的智能体总是选择向下动作，并未为其他动作收集足够数据。相反，最大化奖励的智能体持续选择左右动作，使其能成功解决任务。这两个智能体之间的唯一区别在于认知价值，其旨在使转移和编码器网络的输出尽可能接近。因此，最小化期望自由能的智能体选择单一动作（向下），并成为预测选择该动作后未来的专家。这使得转移与编码器网络输出之间的KL散度很小。