基于严格恰当评分规则的多样性增强主动学习
机器学习
2021-10-28 v1 人工智能
计算与语言
摘要
我们研究用于文本分类的主动学习（AL）获取函数。期望损失缩减（ELR）方法聚焦于分类误差缩减的贝叶斯估计，近来被均值目标不确定性代价（MOCU）更新。我们将 ELR 框架转换为估计（严格恰当）评分的增加，如对数概率或负均方误差，称之为均值恰当评分贝叶斯估计（BEMPS）。我们还借助 MOCU 所用技术证明了收敛结果。为更好地实验新获取函数，我们开发了一种互补的批量 AL 算法，其鼓励未标记数据评分期望变化向量中的多样性。为获得高性能文本分类器，我们结合预训练语言模型上的集成与动态验证集构建。广泛的实验评估随后探究了这些不同获取函数的表现。结果表明，将均方误差与对数概率用于 BEMPS 可产生鲁棒的获取函数，一致优于所测试的其他方法。
引用
@article{arxiv.2110.14171,
title = {Diversity Enhanced Active Learning with Strictly Proper Scoring Rules},
author = {Wei Tan and Lan Du and Wray Buntine},
journal= {arXiv preprint arXiv:2110.14171},
year = {2021}
}