抑制低预算主动学习中的小样本偏差
机器学习
2023-06-21 v1
摘要
主动学习（AL）旨在通过仅为每个模型训练阶段查询少量信息丰富的样本来最小化标注成本。然而，在少量查询样本上训练模型会遭受小样本偏差。本文通过探索一种称为 Firth 偏差缩减的正则化器来解决低预算 AL 中的小样本偏差问题，该正则化器可证明能在模型训练过程中减少偏差，但若其系数不能自适应学习进度，则可能阻碍学习。我们提出课程式 Firth 偏差缩减（CHAIN），可自动调整系数以适应训练过程，而非对每轮查询敏感且耗时的调参。在深度学习和线性模型设定下，基于三个基准数据集、若干广泛使用的查询策略与超参数搜索方法的实验表明，CHAIN 可用于构建更高效的 AL，并能大幅改善每次主动学习查询所取得的进展。
引用
@article{arxiv.2306.11056,
title = {Taming Small-sample Bias in Low-budget Active Learning},
author = {Linxin Song and Jieyu Zhang and Xiaotian Lu and Tianyi Zhou},
journal= {arXiv preprint arXiv:2306.11056},
year = {2023}
}