规避主动学习评估的陷阱：面向有意义性能评估的系统框架
计算机视觉与模式识别
2023-11-06 v3
摘要
主动学习（AL）旨在通过从未标注数据池中交互式地选择最具信息量的样本来减轻标注负担。尽管近年来关于改进 AL 查询方法的研究众多，一些工作却质疑 AL 相较于半监督（Semi-SL）与自监督学习（Self-SL）等新兴范式或简单的分类器配置优化的有效性。因此，当今的 AL 文献呈现出不一致且相互矛盾的图景，使实践者不确定是否以及如何在自己的任务中使用 AL。本工作中，我们主张这种不一致源于缺乏对 AL 方法的系统且现实的评估。具体而言，我们指出了当前文献中反映 AL 评估所需精细考量的五个关键陷阱。进一步，我们提出了一个克服这些陷阱的评估框架，从而能够对 AL 方法的性能做出有意义的论断。为证明我们协议的相关性，我们展示了一项大规模实证研究及针对图像分类的基准测试，涵盖多种数据集、查询方法、AL 设置与训练范式。我们的发现澄清了文献中的不一致图景，并使我们能够为实践者提供实操性建议。该基准测试托管于 https://github.com/IML-DKFZ/realistic-al 。
引用
@article{arxiv.2301.10625,
title = {Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment},
author = {Carsten T. Lüth and Till J. Bungert and Lukas Klein and Paul F. Jaeger},
journal= {arXiv preprint arXiv:2301.10625},
year = {2023}
}
备注
Accepted at NeurIPS 2023