基于拉普拉斯近似的深度主动学习高效贝叶斯更新
机器学习
2026-03-12 v3
摘要
深度主动学习（AL）选取批次实例进行标注，以避免每新增一个标签就重训深度神经网络（DNN）。采用朴素的前- 选取会导致冗余（相似）实例的批次。为此，多种 AL 策略采用聚类技术以保证批次内多样性。我们通过以高效贝叶斯更新替代昂贵的重训来解决该问题。我们所提更新代表使用末层拉普拉斯近似高斯后验的二阶优化步。据此，我们以闭式计算逆 Hessian 实现低计算复杂度。我们证明在典型 AL 设定下，该更新紧密近似重训且速度快得多。借助更新，我们引入通过顺序构建进行批次选择的新框架，在每次标签获取后更新 DNN。此外，我们将更新纳入前瞻选择策略，作为近似最优批次选择的可行上界基线。结果凸显了高效更新推动深度 AL 研究的潜力。
引用
@article{arxiv.2210.06112,
title = {Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations},
author = {Denis Huseljic and Marek Herde and Lukas Rauch and Paul Hahn and Zhixin Huang and Daniel Kottke and Stephan Vogt and Bernhard Sick},
journal= {arXiv preprint arXiv:2210.06112},
year = {2026}
}
备注
Accepted @ ECML PKDD 2025. This is the author's version of the work. The definitive version of record is published in the proceedings of ECML PKDD 2025