通过调和分解学习单指标模型

我们研究学习单指标模型的问题，其中标签 $y \in \mathbb{R}$ 仅通过未知的一维投影 $\langle \boldsymbol{w}_*,\boldsymbol{x}\rangle$ 依赖于输入 $\boldsymbol{x} \in \mathbb{R}^d$。此前的工作表明，在高斯输入下，恢复 $\boldsymbol{w}_*$ 的统计和计算复杂度由链函数的 Hermite 展开所支配。在本文中，我们提出了一种新视角：我们论证球面调和函数——而非 Hermite 多项式——为此问题提供了自然基，因为它们捕捉了其固有的旋转对称性。基于这一洞察，我们刻画了在任意球面对称输入分布下学习单指标模型的复杂度。我们引入了两族估计器——分别基于张量展开和在线 SGD——它们分别达到最优样本复杂度或最优运行时间，并论证在一般情况下同时达到两者的估计器可能不存在。当专门针对高斯输入时，我们的理论不仅恢复并澄清了已有结果，还揭示了此前被忽视的新现象。