基于贝叶斯因子惊奇的易变环境学习
机器学习
2020-09-25 v3 机器学习
神经元与认知
应用统计
摘要
基于惊奇的学习使智能体能够快速适应以突变表征的非平稳随机环境。我们证明，分层模型中的精确贝叶斯推断会产生一种由惊奇调制的权衡，介于遗忘旧观测与将其同新观测整合之间。该调制依赖于一个概率比，我们称之为“贝叶斯因子惊奇（Bayes Factor Surprise）”，用以检验先验信念与当前信念。我们证明，在若干现有近似算法中，贝叶斯因子惊奇调制着对新观测的适应速率。我们推导了三种新颖的基于惊奇的算法，分别属于粒子滤波、变分学习以及消息传递家族，它们在观测序列长度上具有常数级复杂度，且对任意指数族分布都具有特别简单的更新动态。实证结果表明，这些基于惊奇的算法比替代近似方法能更好地估计参数，并达到与计算开销更大的算法相当的性能水平。贝叶斯因子惊奇与香农惊奇（Shannon Surprise）相关但不同。在两个假想实验中，我们对可将贝叶斯因子惊奇与香农惊奇区分开的生理指标作出了可检验的预测。将多种方法阐释为基于惊奇的学习这一理论洞见，以及所提出的在线算法，可应用于动物与人类行为分析，以及非平稳环境中的强化学习。
引用
@article{arxiv.1907.02936,
title = {Learning in Volatile Environments with the Bayes Factor Surprise},
author = {Vasiliki Liakoni and Alireza Modirshanechi and Wulfram Gerstner and Johanni Brea},
journal= {arXiv preprint arXiv:1907.02936},
year = {2020}
}