基于 Rényi 信息测度的主动递归贝叶斯推断
机器学习
2021-03-11 v2 信息论
信号处理
math.IT
机器学习
摘要
递归贝叶斯推断（RBI）在具有流式带噪观测的实时场景中提供最优贝叶斯隐变量估计。主动 RBI 试图有效选择查询以获得更具信息量的观测，从而快速降低不确定性，直至做出可信决策。然而，推断与查询机制的最优性目标通常未被联合选取。此外，常规主动查询方法会因误导性先验信息而受挫。受信息论方法启发，我们提出了一种主动 RBI 框架，通过 Rényi 熵与 -散度统一推断与查询选择步骤。我们还提出了一种基于 Rényi 熵及其变化、称为 Momentum 的新目标，其鼓励在误导性先验情形下的探索。所提主动 RBI 框架应用于概率单纯形中后验变化的轨迹，从而提供具有指定置信度的协调主动查询与决策。在特定假设下，我们分析证明所提方法通过允许选择不大可能事件而优于互信息等传统方法。我们在两个应用上给出了经验与实验性能评估：餐厅推荐与脑机接口（BCI）打字系统。
引用
@article{arxiv.2004.03139,
title = {Active recursive Bayesian inference using R\'enyi information measures},
author = {Yeganeh M. Marghi and Aziz Kocanaogullari and Murat Akcakaya and Deniz Erdogmus},
journal= {arXiv preprint arXiv:2004.03139},
year = {2021}
}
备注
13 pages, 10 figures, 1 table