基于分布不确定性的贝叶斯主动学习
机器学习
2025-01-03 v1
摘要
由于测量回归模型不确定性更加困难，回归任务的主动学习（Active Learning, AL）长期以来一直系统性地受到 insufficient 研究的限制。由于归一化流（normalizing flows）提供完整的预测分布而非点预测，它们能够直接利用熵（Entropy）或最不确定（Least-Confident）采样等已知的主动学习启发式方法。然而，我们展示了大多数这些启发式方法在池化主动学习中对归一化流并不有效，需要更复杂的算法来区分阿尔亚托克（aleatoric）与西普斯塔克（epistemic）不确定性。本文提出了 BALSA—a一种为回归任务设计的 BALD 算法适应方案。通过本工作，我们将当前针对归一化流不确定性量化研究（\cite{berry2023normalizing, berry2023escaping}）扩展至真实世界数据集以及多获取函数和查询规模下的池化主动学习。我们在 4 个数据集和 2 种网络结构上报告了 BALSA 的最先进结果（SOTA）。
引用
@article{arxiv.2501.01248,
title = {Bayesian Active Learning By Distribution Disagreement},
author = {Thorben Werner and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:2501.01248},
year = {2025}
}