一种用于自验证集成模型(SVEM)的随机置换全模型检验启发式方法
统计方法学
2024-05-21 v1 机器学习
摘要
我们提出了一种启发式方法，用于检验自验证集成模型(SVEM)相对于常数响应零假设的拟合显著性。SVEM 模型对目标数据集进行分数加权自助抽样后，对每次抽取的样本应用模型进行 nBoot 次拟合，并平均这些拟合的预测结果。它利用训练集和验证集的反相关权重，在训练数据的验证副本上调整每次拟合。所提出的检验方法计算 SVEM 预测值，该预测值以响应列均值为中心，并通过因子空间中均匀分布的 nPoint 个点处每个点的集成变异性进行归一化。通过将 SVEM 模型重新拟合到响应列的 nPerm 次随机置换，并记录在 nPoint 个点处对应的标准化预测值，构建了一个参考分布。对中心化和缩放后的 nPerm × nPoint 参考矩阵应用降秩奇异值分解，用于计算 nPerm 个置换结果中每一个的马氏距离，以及原始响应列的刀切(留出)马氏距离。该过程对实验中的每个响应独立重复，生成一个联合图形摘要。我们进行了模拟驱动的功效分析，并讨论了该检验在模型灵活性和设计充分性方面的局限性。即使基础 SVEM 模型的参数多于观测值，该检验也能保持名义上的第一类错误率。
引用
@article{arxiv.2405.11156,
title = {A Randomized Permutation Whole-Model Test Heuristic for Self-Validated Ensemble Models (SVEM)},
author = {Andrew T. Karl},
journal= {arXiv preprint arXiv:2405.11156},
year = {2024}
}