中文

面向回归的黑盒批量主动学习

机器学习 2023-07-10 v2 机器学习

摘要

批量主动学习是一种流行的方法,通过重复获取数据点批次的标签,高效地在大型初始未标记数据集上训练机器学习模型。然而,许多最近的批量主动学习方法是白盒方法,通常局限于可微参数化模型:它们使用基于模型嵌入或一阶、二阶导数的采集函数对未标记点进行评分。在本文中,我们提出面向回归任务的黑盒批量主动学习,作为白盒方法的扩展。关键的是,我们的方法仅依赖于模型预测。该方法兼容广泛的机器学习模型,包括常规和贝叶斯深度学习模型以及不可微模型(如随机森林)。它根植于贝叶斯原理,并利用最近的基于核的方法。这使我们能够将多种现有的最先进白盒批量主动学习方法(BADGE、BAIT、LCMD)扩展到黑盒模型。通过在回归数据集上的广泛实验评估,我们证明了方法的有效性,与深度学习模型的白盒方法相比,取得了令人惊讶的强劲性能。

关键词

引用

@article{arxiv.2302.08981,
  title  = {Black-Box Batch Active Learning for Regression},
  author = {Andreas Kirsch},
  journal= {arXiv preprint arXiv:2302.08981},
  year   = {2023}
}

备注

12 pages + 11 pages appendix