高斯单指数模型中的联合学习

我们考虑在高维高斯模型中联合学习一维投影和单变量函数的问题。具体而言，我们研究形如 $f(x)=\varphi^\star(\langle w^\star, x \rangle)$ 的预测器，其中方向 $w^\star \in \mathcal{S}_{d-1}$（$\mathbb{R}^d$ 的球面）和函数 $\varphi^\star: \mathbb{R} \to \mathbb{R}$ 均从高斯数据中学习。该设定刻画了表征学习与非线性回归交叉处的一个基本非凸问题。我们分析了自然交替方案的梯度流动力学，并证明了其收敛性，收敛速率由反映函数 $\varphi^\star$ 的\textit{高斯正则性}的信息指数控制。引人注目的是，我们的分析表明，即使初始方向与目标呈负相关，收敛依然发生。在实践层面，我们证明了利用适应于问题结构的再生核希尔伯特空间（RKHS）可以有效实现此类联合学习，从而实现对单变量函数的高效灵活估计。我们的结果为在高维环境中学习低维结构提供了理论洞察与实用方法。