通过杠杆得分进行几何数据估值

Shapley 数据估值提供了一种对单个数据点重要性进行赋值的原则方法，已在数据集修剪和定价中获得广泛关注。然而，它是一种组合度量，需要评估数据所有子集的边际效用，这在规模扩大时变得不可计算。我们提出了一种基于统计杠杆得分的几何替代方案，这些得分通过衡量数据点在表示空间中的结构性影响来量化，即衡量其如何延伸数据集的跨度并为训练问题的有效维度做出贡献。我们证明了我们的得分满足 Shapley 估值的虚拟性、有效性和对称性公理，并且将其扩展为 ridge 杠杆得分可产生严格为正的边际收益，并自然地与经典 A 和 D 最优设计准则相连接。我们进一步表明，基于杠杆抽样子集进行训练的模型，其参数和预测风险均在 $O(\varepsilon)$ 范围内接近完整数据的 optimum。最终，我们在一次主动学习实验中证明了 ridge-杠杆抽样在不要求访问梯度或反向传递的情况下超越了标准基准。