平坦性是否意味着Logistic损失下在单变量双层ReLU网络中的泛化？

我们考察单变量输入的任意过参数化双层ReLU神经网络的泛化问题。近期工作表明，在平方损失下，平坦解（受平坦/稳定最小局部和边缘稳定现象启发）可证明不会过拟合，但在Logistic损失下是否具有相同的现象仍不清楚。这是一个令人费解的开放问题，因为现有关于Logistic损失的工作表明，步长增加的梯度下降会收敛到插值解（在边际可分离情况下，收敛于无穷远处）。本文证明，在Logistic损失下，平坦性导致的泛化更为微妙。正面方面，我们表明平坦解在位于每个候选解确定的集的最左侧和最右侧之间的区域内，享有近最优的泛化界限。负面方面，我们表明存在任意平坦且在无穷远处会过拟合的解（错误地在各处确定），从而证明平坦性本身在一般情况下不足以保证泛化。我们在严格控制的仿真研究中展示了我们理论所预测的效果。