分支时间主动推断：实证研究与时复杂度类分析
人工智能
2022-05-25 v2
摘要
主动推断（active inference）是一种用于建模大脑的顶尖框架，可解释习惯形成、多巴胺释放与好奇心等多种机制。然而，近期实现方法在计算至时间视野的所有可能策略的先验时具有指数级复杂度类。Fountas 等人（2020）使用蒙特卡洛树搜索解决该问题，在两个不同任务中取得了极佳结果。此外，Champion 等人（2021a）提出了一种基于（时间）结构学习的树搜索方法。这得益于一种主动推断的变分消息传递方法的发展，其支持组合式构建主动推断的贝叶斯网络。然而，这种消息传递树搜索方法——我们称之为分支时间主动推断（BTAI）——尚未经过实证检验。本文中，我们在迷宫求解智能体的背景下给出 BTAI 的实验研究。在此背景下，我们表明改进先验偏好与更深搜索均有助于缓解对局部极小值的脆弱性。随后，我们在图导航任务上将 BTAI 与标准主动推断（AcI）比较。我们表明，对于小图，BTAI 与 AcI 均能成功求解任务；对于更大图，AcI 呈现指数级（空间）复杂度类，使该方法难以处理。而 BTAI 更高效地探索策略空间，成功扩展至更大图。接着，在 frozen lake 环境中将 BTAI 与 POMCP 算法比较。实验表明 BTAI 与 POMCP 算法累积的奖励量相近。我们也描述了 BTAI 获得比 POMCP 智能体更多奖励的情形，以及相反情形。最后，我们在 dSprites 数据集上将 BTAI 与 Fountas 等人（2020）的方法比较，并讨论各自优劣。
引用
@article{arxiv.2111.11276,
title = {Branching Time Active Inference: empirical study and complexity class analysis},
author = {Théophile Champion and Howard Bowman and Marek Grześ},
journal= {arXiv preprint arXiv:2111.11276},
year = {2022}
}
备注
39 pages, 11 figures, accepted for publication in Neural Networks