利用神经正切核使前瞻主动学习策略可行
机器学习
2022-07-05 v1 机器学习
摘要
我们提出了一种新方法，用于近似那些基于使用假设标注的候选数据点重新训练的主动学习采集策略。尽管这通常对深度网络不可行，我们利用神经正切核来近似重新训练的结果，并证明该近似在主动学习设置下渐近成立——以远少的计算量近似“前瞻”选择准则。这也使我们能够进行序贯主动学习，即在流式机制中更新模型，而无需在添加每个新数据点后用 SGD 重新训练模型。此外，我们的查询策略比标准（“短视”）准则更能理解添加新数据点后模型预测将如何变化，大幅优于其他前瞻策略，并在多个基准数据集的基于池的主动学习中取得与最先进方法相当或更好的性能。
引用
@article{arxiv.2206.12569,
title = {Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels},
author = {Mohamad Amin Mohamadi and Wonho Bae and Danica J. Sutherland},
journal= {arXiv preprint arXiv:2206.12569},
year = {2022}
}