主动学习的跨域基准
机器学习
2024-11-13 v2
摘要
主动学习（AL）旨在识别最具信息量的样本进行标注，以降低监督学习任务的数据标注成本。主动学习研究面临文献中的提升效果泛化性差以及实验重复次数少的问题。为克服这些障碍，我们提出了 CDALBench——第一个涵盖计算机视觉、自然语言处理和表格学习任务的主动学习基准。此外，通过提供高效的贪心预言机（oracle），CDALBench 可以在每个实验中进行 50 次评估。我们表明，跨域特性和大量重复对于主动学习研究的精细评估至关重要。具体而言，我们表明特定方法的优越性在不同领域有所不同，因此使用跨域基准评估主动学习非常重要。此外，我们表明大量的重复运行至关重要。仅如文献中常做的那样进行三次运行，特定方法的优越性可能随具体运行而有显著差异。这种效应如此强烈，以至于根据随机种子，即使是一个成熟方法在同一数据集上的性能可能显著优于或显著劣于随机方法。
引用
@article{arxiv.2408.00426,
title = {A Cross-Domain Benchmark for Active Learning},
author = {Thorben Werner and Johannes Burchert and Maximilian Stubbemann and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:2408.00426},
year = {2024}
}
备注
Accepted at NeurIPS 24 in the Benchmarks and Datasets Track. Updated version of paper "Toward Comparable Active Learning" (arXiv:2311.18356). "Toward Comparable Active Learning" is deprecated, please use this version. arXiv admin note: text overlap with arXiv:2311.18356; text overlap with arXiv:2301.10625 by other authors