基于上下文多臂老虎机的自主决策主动推断
机器人学
2023-04-14 v2 机器学习
摘要
在不确定条件下的自主机器人决策中，必须权衡可用选项的利用与探索。若可利用与选项相关的辅助信息，此类决策问题常可表述为上下文多臂老虎机（CMAB）。本研究将近年来神经科学领域活跃研究的主动推断（active inference）作为 CMAB 的一种替代性动作选择策略。与传统动作选择策略不同，在基于自由能原理推导的决策智能体概率模型中计算期望自由能（EFE）时，可严格评估各选项的不确定性。我们具体处理使用分类观测似然函数导致 EFE 值解析上难以处理的情况。我们引入了基于变分与 Laplace 近似的 EFE 计算新近似方法。大量仿真研究表明，与其他策略相比，主动推断通常以远少迭代次数识别最优选项，并以相对较低的额外计算代价普遍取得更优的累积遗憾。
引用
@article{arxiv.2209.09185,
title = {Active Inference for Autonomous Decision-Making with Contextual Multi-Armed Bandits},
author = {Shohei Wakayama and Nisar Ahmed},
journal= {arXiv preprint arXiv:2209.09185},
year = {2023}
}