ActiveGLAE：面向基于 Transformer 的深度主动学习基准
机器学习
2023-06-21 v1 人工智能
摘要
深度主动学习（DAL）旨在通过让模型主动查询其预期从中学习最多的实例标注来降低标注成本。尽管研究广泛，目前 DAL 领域中基于 Transformer 的语言模型尚无标准化评估协议。多样化的实验设置导致难以比较研究并为从业者得出建议。为应对这一挑战，我们提出了 ActiveGLAE 基准，一个用于评估 DAL 的数据集与评估指南的综合集合。我们的基准旨在促进并简化新颖 DAL 策略的评估过程。此外，我们提供了基于 Transformer 的语言模型在 DAL 中当前实践的广泛概览。我们识别出三个关键挑战——数据集选择、模型训练和 DAL 设置——它们给比较查询策略带来困难。我们通过大量实验建立基线结果，作为评估未来工作的参考点。基于我们的发现，我们为研究者和从业者提供指南。
引用
@article{arxiv.2306.10087,
title = {ActiveGLAE: A Benchmark for Deep Active Learning with Transformers},
author = {Lukas Rauch and Matthias Aßenmacher and Denis Huseljic and Moritz Wirth and Bernd Bischl and Bernhard Sick},
journal= {arXiv preprint arXiv:2306.10087},
year = {2023}
}
备注
Accepted @ ECML PKDD 2023. This is the author's version of the work. The definitive Version of Record will be published in the Proceedings of ECML PKDD 2023