混合主动推理模型中的学习

Poppy Collis; Ryan Singh; Paul F Kinghorn; Christopher L Buckley

混合主动推理模型中的学习

人工智能 2024-09-04 v1 系统与控制系统与控制

作者: Poppy Collis , Ryan Singh , Paul F Kinghorn , Christopher L Buckley

摘要

人工智能的一个开放问题是如何使系统能够灵活地学习用于解决固有连续问题的离散抽象。在计算神经科学中,此功能集成在决策过程中通过主动推理(Parr, Friston & de Vries, 2017; Parr & Friston, 2018)的形式化框架下被考虑。然而,其关注点是离散决策的可表达物理实现,且假设其混合生成模型是已知的。因此,尚不清楚该框架如何扩展到学习问题。我们因此提出了一种新型的分层混合主动推理智能体,其中高层离散主动推理规划器位于低层连续主动推理控制器之上。我们利用最近在递归切换线性动态系统(rSLDS)中所做的工作,通过复杂连续动力学的分段线性分解实现有意义的离散表示的端到端学习(Linderman等, 2016)。由rSLDS学习到的表示信息化为混合决策智能体的结构,使我们能够(1)以类似options框架的方式指定时抽象化子目标, (2)将探索提升到离散空间,从而利用信息论探索奖励,以及(3)在离散规划器中'缓存'低层问题的近似解。我们将模型应用于稀疏Continuous Mountain Car任务,通过增强的探索实现快速系统识别,并通过抽象子目标的划分成功进行规划。

关键词

主动推理混合模型离散抽象递归切换线性动态系统探索

引用

@article{arxiv.2409.01066,
  title  = {Learning in Hybrid Active Inference Models},
  author = {Poppy Collis and Ryan Singh and Paul F Kinghorn and Christopher L Buckley},
  journal= {arXiv preprint arXiv:2409.01066},
  year   = {2024}
}

备注

11 pages (+ appendix). Accepted to the International Workshop on Active Inference 2024. arXiv admin note: substantial text overlap with arXiv:2408.10970

混合主动推理模型中的学习

摘要

关键词

引用

备注

相关论文