面向深度贝叶斯主动学习的可扩展批量采集
机器学习
2023-02-17 v3 机器学习
摘要
在深度主动学习中，为高效工作，尤其是在大规模数据集上，每一步选择多个样本进行标注尤为重要。同时，贝叶斯框架下针对此问题的现有解决方案，如BatchBALD，在选择大量样本时存在显著局限，这与计算联合随机变量互信息的指数级复杂度有关。因此，我们提出Large BatchBALD算法，该算法为BatchBALD方法提供了一个有充分依据的近似，旨在以更高的计算效率实现可比的标注质量。我们对该算法进行了复杂度分析，展示了计算时间的减少，尤其对于大批量场景。此外，我们在图像和文本数据上，包括玩具数据集和CIFAR-100等较大规模数据集，展示了广泛的实验结果。
引用
@article{arxiv.2301.05490,
title = {Scalable Batch Acquisition for Deep Bayesian Active Learning},
author = {Aleksandr Rubashevskii and Daria Kotova and Maxim Panov},
journal= {arXiv preprint arXiv:2301.05490},
year = {2023}
}
备注
Accepted to SIAM International Conference on Data Mining 2023