流形上泊松不等式的替代方案：用于非线性特征空间中的维数约化

我们旨在通过函数复合 $u$ 的 $f\circ g$ 近似，其中 $g:\mathbb{R}^d \rightarrow \mathbb{R}^m$ ($m\leq d$)，$f : \mathbb{R}^m \rightarrow \mathbb{R}$ 通过两阶段过程构建。对于固定的 $g$，我们使用经典回归方法构建 $f$，涉及对 $u$ 的评估。近期工作提出通过最小化源于流形上泊松不等式的损失函数 $\mathcal{J}(g)$ 来构建非线性 $g$，该函数涉及对 $u$ 梯度的评估。然而，最小化 $\mathcal{J}$ 可能具有挑战性。因此，本文引入新的凸 surrogates 以替代 $\mathcal{J}$。利用浓度不等式，我们为一类包含多项式的函数 $g$ 以及广泛的输入概率测度提供次优解。我们在不同基准数据集上进行实验，研究各种训练样本大小下的性能。我们表明，该方法在降低训练泊松不等式基于损失的标准迭代方法的计算复杂度方面具有优势，尤其在小训练集和 $m=1$ 时，近似误差常常更小。