图模型中的主动推断与认知价值
机器学习
2022-04-07 v2 机器学习
神经与进化计算
摘要
自由能原理（FEP）假定生物智能体感知并与其环境交互，以相对于其环境的生成模型最小化变分自由能（VFE）。依据 FEP 对策略（未来控制序列）的推断被称为主动推断（AIF）。AIF 文献描述了多种用于策略规划的 VFE 目标，其导致认知（信息寻求）行为。然而，大多数目标建模灵活性有限。本文从约束 Bethe 自由能（CBFE）视角探讨认知行为。关键的是，CBFE 的变分优化可表达为自由形式生成模型上的消息传递。CBFE 背后的核心直觉是我们对预测结果施加点质量约束，其显式编码了智能体将在未来进行观测的假设。我们依据其组成性行为驱动来解释 CBFE 目标。随后，我们通过在模拟的 T-maze 环境中规划与交互来展示 CBFE 所产生的行为。T-maze 任务的仿真说明了 CBFE 智能体如何表现出认知驱动，并主动提前规划以考虑预测结果的影响。与 EFE 智能体相比，CBFE 智能体在显著更多的环境场景中获得了期望奖励。我们得出结论：通过消息传递进行 CBFE 优化提出了一种在自由形式生成模型中实现认知感知 AIF 的通用机制。
引用
@article{arxiv.2109.00541,
title = {Active Inference and Epistemic Value in Graphical Models},
author = {Thijs van de Laar and Magnus Koudahl and Bart van Erp and Bert de Vries},
journal= {arXiv preprint arXiv:2109.00541},
year = {2022}
}