一种用于主动学习的拉格朗日对偶方法

我们考虑基于池的主动学习问题，其中仅有一小部分训练数据被标注，目标是查询一批未标注样本进行标注，以最大程度地提升模型性能。我们使用约束学习来表述该问题，其中一组约束界定了模型在标注样本上的性能。考虑原对偶方法，我们优化原变量（对应模型参数）以及对偶变量（对应约束）。由于每个对偶变量指示了相应约束的扰动如何影响目标函数的最优值，我们将其用作对应训练样本信息量的代理。我们的方法称为基于拉格朗日对偶的主动学习（Active Learning via Lagrangian dualitY，ALLY），利用这一事实来选择具有最高估计对偶变量的一组多样化未标注样本作为查询集。我们在多种分类和回归任务中展示了该方法的优势，并讨论了其局限性，这些局限性取决于所用模型的容量以及数据集中的冗余程度。我们还考察了主动采样所引起的分布偏移的影响，并表明 ALLY 可用于生成模式以创建新颖的、信息量最大的样本。