用于减少文本分类任务中标注成本的主动学习
摘要
标注数据是一项昂贵的任务，通常由领域专家手动完成。这对深度学习而言十分繁琐，因为其依赖于大规模标注数据集。主动学习（AL）是一种旨在通过仅使用当前模型认为最具信息量的数据来减少标注成本的范式。目前关于文本分类场景下 AL 的研究较少，且几乎未涉及最新的最先进自然语言处理（NLP）模型。在此，我们提出一项实证研究，比较了不同的基于不确定性的算法，并以 BERT 作为分类器。我们在两个 NLP 分类数据集上评估了这些算法：Stanford Sentiment Treebank 和 KvK-Frontpages。此外，我们探索了一些启发式方法，旨在解决基于不确定性的 AL 的预设问题，即其不可扩展且易受异常值影响。此外，我们还探讨了查询池大小对 AL 性能的影响。尽管发现所提出的 AL 启发式方法未能提升 AL 的性能，但我们的结果表明，将基于不确定性的 AL 与 BERT 结合使用优于数据的随机采样。随着查询池规模增大，这种性能差异可能会减小。
引用
@article{arxiv.2109.04847,
title = {Active learning for reducing labeling effort in text classification tasks},
author = {Pieter Floris Jacobs and Gideon Maillette de Buy Wenniger and Marco Wiering and Lambert Schomaker},
journal= {arXiv preprint arXiv:2109.04847},
year = {2021}
}
备注
Accepted as a conference paper at the joint 33rd Benelux Conference on Artificial Intelligence and the 30th Belgian Dutch Conference on Machine Learning (BNAIC/BENELEARN 2021). This camera-ready version submitted to BNAIC/BENELEARN, adds several improvements including a more thorough discussion of related work plus an extended discussion section. 28 pages including references and appendices