高阶瑞士军刀式无穷小刀切法
统计理论
2019-07-30 v1 机器学习
机器学习
统计理论
摘要
交叉验证(CV)与自助法(bootstrap)是评估机器学习与统计估计量误差或可变性的与模型无关的常见工具。然而，这些方法需要利用原始数据集的不同加权版本反复重新拟合模型，这可能耗时 prohibitive。对于足够正则的优化问题，最优解光滑依赖于数据权重，因此反复重新拟合的过程可用泰勒级数近似，而该级数通常能相对快速地求值。一阶近似在统计文献中称为“无穷小刀切法”(infinitesimal jackknife)，近期在机器学习中作为近似 CV 受到关注。本工作中，我们考虑高阶近似，称之为“高阶无穷小刀切法”(HOIJ)。在温和正则条件下，我们提供一种简单的递归过程以计算所有阶近似并给出有限样本精度界。此外，我们表明即便在高维下，HOIJ 也可利用前向模式自动微分高效计算。我们证明带自助权重近似的线性近似等价于渐近正态近似所提供的那些。因此，HOIJ 开启了利用局部近似享有自助法高阶精度性质的可能性。在不同渐近 regime 下 HOIJ 对留一法 CV 的一致性，作为我们有限样本界在附加正则假设下的推论而得出。该计算与界限的通用性印证了“高阶瑞士军刀式无穷小刀切法”之名。
引用
@article{arxiv.1907.12116,
title = {A Higher-Order Swiss Army Infinitesimal Jackknife},
author = {Ryan Giordano and Michael I. Jordan and Tamara Broderick},
journal= {arXiv preprint arXiv:1907.12116},
year = {2019}
}