使用高度自适应Lasso的超级集成学习
统计方法学
2025-07-28 v2
摘要
我们引入了元高度自适应Lasso最小损失估计量（M-HAL-MLE），这是一种新颖的集成方法，用于从独立同分布观测中估计真实建模数据分布的泛函参数。给定个初始估计量，候选集成由有限截面变差càdlàg函数生成。使用折交叉验证，M-HAL-MLE选择最小化交叉验证经验风险的最优càdlàg集成，其中截面变差界作为调优参数。最终估计量M-HAL超级学习器通过对各折的集成组成进行平均得到。相比之下，预言集成和预言估计量通过最小化相对于真实函数的总体超额风险来定义。我们建立了以下理论性质：1) M-HAL超级学习器以的速率（忽略对数因子）在超额风险上收敛到预言估计量；2) 通过适当的欠平滑，M-HAL超级学习器的目标特征对于预言估计量的相应目标特征是渐近线性的；3) 预言估计量与真实函数之间的超额风险，以及它们目标特征之间的差异，通常是二阶的。模拟验证了理论结果，证明了在高维设置中的有效性。我们进一步在涉及人类疼痛研究的功能性MRI中介分析的真实数据应用中说明了该方法。
引用
@article{arxiv.2312.16953,
title = {Super Ensemble Learning Using the Highly-Adaptive-Lasso},
author = {Zeyi Wang and Wenxin Zhang and Brian S Caffo and Martin Lindquist and Mark van der Laan},
journal= {arXiv preprint arXiv:2312.16953},
year = {2025}
}