瑞士军刀式无穷小刀切法

机器学习算法的误差或变异性通常通过用观测数据的不同加权版本反复重新拟合模型来评估。交叉验证(CV)和自助法这类无处不在的工具就是该技术的例子。这些方法之所以强大，很大程度上归功于其模型不可知性，但由于需要反复重新拟合模型，在现代化的海量数据集上运行缓慢。在本工作中，我们利用拟合过程对权重的依赖关系的线性近似，产生的结果可比反复重新拟合快一个数量级。该线性近似在统计学文献中有时被称为“无穷小刀切法”(infinitesimal jackknife)，主要被用作证明渐近结果的理论工具。我们针对无穷小刀切法给出了显式的有限样本误差界，其表述基于少量简单且可验证的假设。我们的结果无论权重与数据是随机还是确定性的均适用，因此可作为在广泛问题上证明无穷小刀切法准确性的工具。作为推论，我们给出了温和的正则条件，在此条件下我们的近似能一致估计任意固定$k$的真实留$k$折交叉验证。这些理论结果，连同现代自动微分软件，支持将无穷小刀切法应用于机器学习中的各类实际问题，提供一种“瑞士军刀式无穷小刀切法”。我们在一系列模拟和真实数据集上展示了方法的准确性。