齐次与非齐次深度模型中的词典序和深度敏感间隔

为了理解深度学习中的复杂度控制，我们研究了无穷小正则化或梯度下降优化如何在齐次和非齐次模型中导致最大间隔解，扩展了先前仅关注齐次模型中无穷小正则化的工作。为此，我们研究了具有发散范数约束的损失最小化的极限（“约束路径”），将其与“间隔路径”的极限联系起来，并描述了所得解的特征。对于非齐次集成模型，其输出是齐次子模型的和，我们表明，如果不需要最浅的子模型，该解会丢弃它们。对于齐次模型，我们展示了收敛到“词典序最大间隔解”，并提供了最大间隔解也作为无约束梯度下降的极限达到的条件。