随机集成中的外推交叉验证

集成方法如 bagging 和随机森林在从金融到基因组学的各个领域无处不在。尽管它们应用广泛，关于集成参数高效调优的问题却相对较少受到关注。本文引入了一种交叉验证方法 ECV（外推交叉验证），用于调优随机集成中的集成规模与子样本规模。我们的方法基于两个主要要素：利用袋外误差对小规模集成得到初始估计量，以及一种利用预测风险分解结构的新颖风险外推技术。通过确立我们的风险外推技术在集成与子样本规模上的均匀一致性，我们证明 ECV 针对平方预测风险给出了 $\delta$-最优（相对于预言机调优风险）的集成。我们的理论适用于一般集成预测器，仅需要温和的矩假设，并允许特征维度随样本量增长的高维情形。作为一个实际案例研究，我们采用 ECV 利用随机森林从单细胞多组学中的基因表达预测表面蛋白丰度。与样本分割交叉验证和 $K$ 折交叉验证相比，ECV 在不进行样本分割的情况下实现了更高的精度。同时，由于使用了风险外推技术，其计算成本显著降低。额外的数值结果验证了在最大集成规模的计算约束下，ECV 对若干常见集成预测器的有限样本精度。