影响函数与正则化切向：高效主动学习方法

本文描述了一种为回归模型提供数据好奇心感知的高效方法。在机器学习领域，我们的框架称为主动学习(Active Learning)，它关乎在半监督环境中自动选择需查询标签的数据点。我们提出的方法基于计算一种"正则化切向"向量，该向量可在训练时仅引入常数级别的计算开销即可与模型参数向量一起计算。随后，我们对该切向向量与模型在给定数据点上损失梯度向量的内积进行计算，以获得该数据点对模型复杂度影响的度量。在最简单的实现中，仅存在一个与参数向量维度相同的正则化切向向量。因此，在所提方法中，训练完成后，评估对潜在查询数据点的"好奇心"，仅需计算该点上的模型损失梯度即可。该新向量仅使模型所需存储量翻倍。我们指出，该技术计算的量是"影响函数"的一个实例，衡量的是对给定数据点进行加权后，模型复杂度预期平方变化。我们提出了若干方法利用该量及其他相关量来选择回归模型的新训练数据点。