集成线性插值器：集成的作用

插值器是不稳定的。例如，最小$\ell_2$范数最小二乘插值器在处理含噪数据时表现出无界的测试误差。本文研究集成如何稳定并从而改善单个插值器以样本外预测风险衡量的泛化性能。我们关注装袋（bagged）线性插值器，因为装袋是一种流行的基于随机化的集成方法，可并行实现。我们引入基于乘子自助法的装袋最小二乘估计器，其可表示为草图最小二乘估计器的平均。所提出的乘子自助法涵盖经典有放回自助法作为特例，以及一种我们称之为伯努利自助法的更为有趣的变体。聚焦于样本量与特征维数成比例的比例 regime，我们研究了草图和装袋最小二乘估计器在欠参数化和过参数化 regime 下的样本外预测风险。我们的结果揭示了草图和装袋的统计作用。具体而言，草图修改了宽高比并移动了最小$\ell_2$范数估计器的插值阈值。然而，由于过大的方差，草图估计器的风险在插值阈值附近仍无界。形成鲜明对比的是，装袋有效缓解了此方差，导致有界的极限样本外预测风险。为进一步理解这一稳定性改善性质，我们确立装袋作为一种隐式正则化形式，并由装袋估计器与其显式正则化对应物等价所证实。我们还讨论了若干推广。