鲁棒在线学习的信念流

本文介绍了一种新的在线学习概率模型，该模型动态整合来自任意损失函数的随机梯度的信息。类似于概率滤波，该模型在最优权重参数上保持高斯信念。不同于传统贝叶斯更新，该模型利用汤普森采样选择位置进行少量梯度评估，使其计算上易处理。然后信念通过线性流场进行变换，该流场使用源自信息论原理的规则最优地更新信念分布。展示了使用该流场不同约束的几种算法版本，并与常规在线学习算法进行比较。给出了包括逻辑回归和多层神经网络在内的若干分类任务的结果。