统计查询框架之外的多指数模型中 SGD 的局限性
机器学习
2026-02-06 v1 机器学习
摘要
理解梯度方法，特别是随机梯度下降 (SGD) 的局限性，是学习理论的核心挑战。常用的工具是统计查询 (SQ) 框架，它研究基于数据噪声互动的算法性能限制。然而，已知 SQ 框架与 SGD 之间存在形式上的脱节：现有结果通常依赖于不符合标准 SGD 噪声特性的对抗性或特殊结构的梯度噪声，且（正如本文指出的）有时会导致错误预测。此外，许多关于 SGD 用于困难问题的分析依赖于非平凡的算法修改，如将 SGD 轨迹限制在球面上或使用极小的学习率。为此，我们发展了新的非 SQ 框架来研究标准 vanilla SGD 在单指数模型和多指数模型（即目标函数依赖于输入的低维投影）中的局限性。我们的结果适用于广泛的情境和体系结构，包括（可能深层的）神经网络。
引用
@article{arxiv.2602.05704,
title = {Limitations of SGD for Multi-Index Models Beyond Statistical Queries},
author = {Daniel Barzilai and Ohad Shamir},
journal= {arXiv preprint arXiv:2602.05704},
year = {2026}
}