超越方差缩减的集成学习通用加权理论：基于谱和几何结构

集成学习传统上被解释为方差缩减策略，解释了其对不稳定预测器（如决策树）具有强大性能的原因。然而，这种解释无法解释由固有稳定估计器构建的集成——包括光滑样条、核岭回归、高斯过程回归以及其他受谱紧缩和正则化控制方差的再生产核希尔伯特空间（RKHS）方法。本文发展了集成学习的通用加权理论，超越经典的方差减损论证。我们将集成 formalization 为作用于假设空间的线性算子，并赋予加权序列以几何和谱约束。在此框架下，我们推导出精细化的偏差-方差近似分解，展示了非均匀、结构化权重如何通过重塑近似几何和重新分配谱复杂性来超越均匀平均，即使方差缩减可以忽略不计。我们的主要结果提供了结构化加权必然优于均匀集成的条件，并表明最优权重 arising as 满足约束二次规划的解。经典平均、堆叠以及最近提出的基于斐波那契的集成 appear as 此一统一理论的特例，进一步容纳了几何、亚指数和重尾加权法则。总体而言，本工作为结构驱动的集成学习奠定了原则性基础，解释了为何即使对光滑、低方差的基学习器集成仍然有效，并为随后工作中开发的分布自适应和动态演化加权方案铺路。