深度主动学习在真实场景中是否有效？
机器学习
2024-12-09 v2 人工智能
摘要
深度主动学习（DAL）方法相比简单随机采样已显示出显著的样本效率提升。尽管这些研究很有价值，它们几乎总是假设最优的 DAL 超参数（HP）设置事先已知，或者通过以不同 HP 设置重复多次 DAL 来优化 HP。在此，我们认为在真实世界设置中，或在真实场景下，关于良好 HP 存在显著不确定性，且其优化与采用 DAL 的前提相矛盾（即我们需要标注效率）。在本研究中，我们在八个基准问题上评估了十一种现代 DAL 方法的性能，同时改变所有方法共享的一个关键 HP：池比例。尽管仅调整了一个 HP，我们的结果表明十一种 DAL 方法中有八种有时表现不如简单随机采样，且有些经常表现更差。只有三种方法始终优于随机采样（尽管优势微弱），并且我们发现这些方法都利用多样性来选样——一个相对简单的准则。我们的发现揭示了现有 DAL 方法在真实场景中部署时的局限性，并将此呈现为该领域一个重要的新开放问题。
引用
@article{arxiv.2302.00098,
title = {Does Deep Active Learning Work in the Wild?},
author = {Simiao Ren and Saad Lahrichi and Yang Deng and Willie J. Padilla and Leslie Collins and Jordan Malof},
journal= {arXiv preprint arXiv:2302.00098},
year = {2024}
}