平滑损失地形增强 SGD 信号：学习单指标模型的最优样本复杂度

我们关注于在 $d$ 维各向同性高斯分布下学习单指标模型 $\sigma(w^\star \cdot x)$ 的任务。先前工作表明，学习 $w^\star$ 的样本复杂度由链接函数 $\sigma$ 的信息指数 $k^\star$ 决定，其定义为 $\sigma$ 的第一个非零 Hermite 系数的指标。Ben Arous 等人（2021）证明 $n \gtrsim d^{k^\star-1}$ 个样本足以学习 $w^\star$，且这对在线 SGD 是紧的。然而，基于梯度方法的 CSQ 下界仅表明 $n \gtrsim d^{k^\star/2}$ 个样本是必要的。在本工作中，我们通过在平滑损失上的在线 SGD 以 $n \gtrsim d^{k^\star/2}$ 个样本学习 $w^\star$，弥合了上下界之间的差距。我们还建立了与张量 PCA 统计分析以及小批量 SGD 在经验损失上隐式正则化效应的联系。