高维空间中学习带交互的稀疏加性模型

若函数 $f: \mathbb{R}^d \rightarrow \mathbb{R}$ 形如 $f(\mathbf{x}) = \sum_{l \in \mathcal{S}}\phi_{l}(x_l)$，其中 $\mathcal{S} \subset [d]$，$|\mathcal{S}| \ll d$，则称其为稀疏加性模型（Sparse Additive Model, SPAM）。在假定 $\phi_l$ 与 $\mathcal{S}$ 未知的情况下，从样本估计 $f$ 的问题已被广泛研究。本工作中，我们考虑一种广义 SPAM，允许二阶交互项。对于某些 $\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$，假设函数 $f$ 形如：$$f(\mathbf{x}) = \sum_{p \in \mathcal{S}_1}\phi_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}\phi_{(l,l^{\prime})} (x_{l},x_{l^{\prime}}).$$ 假定 $\phi_{p},\phi_{(l,l^{\prime})}$、$\mathcal{S}_1$ 与 $\mathcal{S}_2$ 未知，我们提出一种随机算法，通过查询 $f$ 精确恢复 $\mathcal{S}_1,\mathcal{S}_2$。进而，这也有助于我们估计潜在的 $\phi_p, \phi_{(l,l^{\prime})}$。我们推导了方案的样本复杂度界，并将分析扩展至查询受噪声污染的情形——无论是随机噪声，还是有界任意噪声。最后，我们在合成数据上给出仿真结果，验证了我们的理论发现。