复杂推理
神经元与认知
2020-06-09 v1 人工智能
摘要
主动推理为有感知行为提供了一种第一性原理的解释，从中可以推导出特殊且重要的情形，例如强化学习、主动学习、贝叶斯最优推理、贝叶斯最优设计等。主动推理通过将信息增益与奖励或价值置于同等地位，解决了与先验偏好相关的利用-探索困境。简而言之，主动推理用（贝叶斯）信念的泛函（以期望（变分）自由能的形式）取代了价值函数。在本文中，我们考虑一种复杂形式的主动推理，使用递归形式的期望自由能。复杂性描述了智能体拥有关于信念的信念的程度。我们考虑那些对行动在事态上的反事实后果以及关于这些潜在状态的信念拥有信念的智能体。换句话说，我们从仅仅考虑“如果我那样做会发生什么”的信念，转向“关于如果我那样做会发生什么，我会相信什么”的信念。自由能泛函的递归形式有效地实现了对未来行动和结果的深度树搜索。关键的是，这种搜索是针对信念状态序列的，而非状态本身。我们通过深度决策问题的数值模拟展示了该方案的性能。
引用
@article{arxiv.2006.04120,
title = {Sophisticated Inference},
author = {Karl Friston and Lancelot Da Costa and Danijar Hafner and Casper Hesp and Thomas Parr},
journal= {arXiv preprint arXiv:2006.04120},
year = {2020}
}