无穷小刀切法与模型组合
机器学习
2022-09-02 v1 机器学习
统计方法学
摘要
无穷小刀切法（Infinitesimal Jackknife）是一种用于估计参数模型方差的通用方法，近来也用于某些集成方法。本文扩展无穷小刀切法以估计任意两个模型之间的协方差。这可用于量化模型组合的不确定性，或构造检验统计量以比较使用同一训练数据集拟合的不同模型或模型集成。本文的具体示例使用了随机森林和 M-估计量等模型的提升组合。我们还研究了其在神经网络和 XGBoost 模型集成上的应用。我们通过大量模拟及其在北京住房数据上的应用说明了方差估计的有效性，并证明了无穷小刀切法协方差估计的理论一致性。
引用
@article{arxiv.2209.00147,
title = {The Infinitesimal Jackknife and Combinations of Models},
author = {Indrayudh Ghosal and Yunzhe Zhou and Giles Hooker},
journal= {arXiv preprint arXiv:2209.00147},
year = {2022}
}
备注
47 pages, 11 figures