LPLgrad：基于梯度范数样本选择和辅助模型训练的主动学习优化

机器学习模型由于其卓越的性能和强大的泛化能力，正越来越多地被用于各个领域和任务。然而，它们的成功依赖于大量标注数据的可用性，而标注数据的创建往往是昂贵的、耗时的。许多主动学习（AL）方法已经提出来解决这些挑战，但它们往往没有充分利用来自AL核心阶段的信息，如在标注集上训练和查询新未标注样本。为弥合这一差距，我们提出了一种新型AL方法，即Loss Prediction Loss with Gradient Norm（LPLgrad），旨在有效地量化模型不确定性并提高图像分类任务的准确性。LPLgrad在两个 distinct 阶段中运行：（i）训练阶段旨在通过联合训练主模型和辅助模型来预测输入特征的损失。两个模型都在标注数据上训练，以最大化学习过程的效率，这是以往AL方法中常被忽视的方面。这种双模型方法增强了从数据中提取复杂输入特征和有效学习内在模式的能力；（ii）查询阶段通过计算未标记数据集中样本的熵值梯度范数来量化主模型的不确定性，从而指导样本选择。优先对梯度范数最大的样本进行标注并随后添加到标注集中，以最小化的标签 effort 提高模型性能。针对真实世界数据集的广泛评估表明，LPLgrad方法在小数量的标注图像上以准确率数十倍超过最先进的方法，同时在多个图像分类任务中实现了可 comparable 的训练和查询时间。