高维空间中学习带交互的稀疏加性模型的算法

函数 $f: \mathbb{R}^d \rightarrow \mathbb{R}$ 若形如 $f(\mathbf{x}) = \sum_{l \in \mathcal{S}}\phi_{l}(x_l)$（其中 $\mathcal{S} \subset [d]$，$|\mathcal{S}| \ll d$），则称为稀疏加性模型（SPAM）。假设 $\phi$ 与 $\mathcal{S}$ 未知，已有大量工作从样本估计 $f$。本文考虑 SPAM 的广义版本，其还允许存在稀疏数量的二阶交互项。对于某些 $\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$，满足 $|\mathcal{S}_1| \ll d, |\mathcal{S}_2| \ll d^2$，函数 $f$ 现假设为如下形式：$\sum_{p \in \mathcal{S}_1}\phi_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}\phi_{(l,l^{\prime})} (x_l,x_{l^{\prime}})$。假设可在定义域任意处查询 $f$，我们推导了能可证明地以有限样本界恢复 $\mathcal{S}_1,\mathcal{S}_2$ 的高效算法。我们的分析涵盖获得 $f$ 精确样本的无噪设置，并扩展至查询受噪声污染的含噪设置。特别地，对于含噪设置，我们考虑两种噪声模型：独立同分布高斯噪声与任意但有界噪声。我们识别 $\mathcal{S}_2$ 的主要方法本质上依赖于稀疏 Hessian 矩阵的估计，为此我们提出了两种基于压缩感知的新方案。一旦已知 $\mathcal{S}_1, \mathcal{S}_2$，我们展示如何通过额外查询 $f$ 来估计各分量 $\phi_p$、$\phi_{(l,l^{\prime})}$，并具有一致误差界。最后，我们提供了合成数据上的仿真结果以验证理论发现。