逻辑模型下 alpha-损失 Landscape 的研究

我们分析了近期引入的一类可调损失函数族（称为 $\alpha$-损失，$\alpha \in (0,\infty]$）在逻辑模型中的优化 landscape。该族封装了指数损失（$\alpha = 1/2$）、对数损失（$\alpha = 1$）与 0-1 损失（$\alpha = \infty$），并具备引人注目的性质，使实践者能够辨别与新兴学习方法相关的多种运行条件。具体而言，我们借助严格局部拟凸函数研究中的工具以及几何技术，研究了 $\alpha$-损失相对于 $\alpha$ 的优化 landscape 演化。我们基于归一化梯度下降从优化复杂度的角度解释了这些结果。