过参数化机制下“重要性加权”估计器分布外误差的精确分析

观察到实现零训练误差的过参数化模型在平均意义上泛化良好，但在面对训练样本中代表性不足的数据时性能会下降。在这项工作中，我们研究了一个带有虚假特征的过参数化高斯混合模型，并精确分析了一种包含“重要性权重”的成本敏感插值解的分布内和分布外测试误差。与最近的工作 Wang et al. (2021), Behnia et al. (2022) 相比，我们的分析是精确的，具有匹配的上界和下界，并显著放宽了对数据维度的假设要求。我们的误差特征描述也适用于任何重要性权重的选择，并揭示了一个新的权衡，即作为重要性权重大小的函数，最坏情况下的分布偏移鲁棒性与平均准确率之间的权衡。