面向预测的贝叶斯主动学习
机器学习
2023-04-18 v1 机器学习
摘要
信息论驱动的主动学习方法传统上侧重于最大化所获取关于模型参数的信息，最常见的是通过优化 BALD 分数。我们指出，从预测性能的角度来看，这可能是次优的。例如，BALD 缺乏输入分布的概念，因此容易优先选择相关性有限的数据。为此，我们提出了期望预测信息增益（EPIG），这是一种在预测空间而非参数空间中衡量信息增益的采集函数。我们发现，在一系列数据集和模型上，使用 EPIG 相比 BALD 能带来更强的预测性能，因此提供了一个颇具吸引力的即插即用替代方案。
引用
@article{arxiv.2304.08151,
title = {Prediction-Oriented Bayesian Active Learning},
author = {Freddie Bickford Smith and Andreas Kirsch and Sebastian Farquhar and Yarin Gal and Adam Foster and Tom Rainforth},
journal= {arXiv preprint arXiv:2304.08151},
year = {2023}
}
备注
Published at AISTATS 2023