预算约束下的主动学习：高预算与低预算适用相反策略
机器学习
2023-12-29 v4
摘要
在主动学习研究中，我们关注已标注样本数量（预算大小）与合适查询策略之间的关系。我们的理论分析显示出类似相变的行为：在低预算时最好查询典型样本，而在大预算时最好查询非代表性样本。综合证据表明，在常见分类模型中也会出现类似现象。据此，我们提出 TypiClust——一种适用于低预算的深度主动学习策略。在使用多种架构和图像数据集的监督学习比较实证研究中，TypiClust 在低预算情形下优于所有其他主动学习策略。在半监督框架中使用 TypiClust，性能得到更显著的提升。特别是，在 CIFAR-10 上以 TypiClust 选出的 10 个标注样本训练的最先进半监督方法达到了 93.2% 的准确率——相比随机选取提升了 39.4%。代码见 https://github.com/avihu111/TypiClust。
引用
@article{arxiv.2202.02794,
title = {Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets},
author = {Guy Hacohen and Avihu Dekel and Daphna Weinshall},
journal= {arXiv preprint arXiv:2202.02794},
year = {2023}
}
备注
ICML 2022