利用梯度信息的代理建模非线性降维方法

我们引入一种对高维函数 $u:\mathbb{R}^d\rightarrow\mathbb{R}$, $d\gg1$ 进行非线性降维的方法。我们的目标是确定一个非线性特征映射 $g:\mathbb{R}^d\rightarrow\mathbb{R}^m$,其中中间维数 $m\ll d$ 为给定值,使得 $u$ 可被某个剖面函数 $f:\mathbb{R}^m\rightarrow\mathbb{R}$ 通过 $f\circ g$ 很好地逼近。我们提出通过使雅可比矩阵 $\nabla g$ 与梯度 $\nabla u$ 对齐来构建特征映射,并从理论上分析所得 $g$ 的性质。一旦构建好 $g$,我们通过求解一个增强梯度的最小二乘问题来构造 $f$。我们的实用算法利用样本 $\{x^{(i)},u(x^{(i)}),\nabla u(x^{(i)})\}_{i=1}^N$,并在自适应向下闭包多项式空间上构建 $g$ 和 $f$,使用交叉验证以避免过拟合。我们在不同基准问题上数值评估了算法的性能,并探讨了中间维数 $m$ 的影响。我们表明,在相同的输入数据集下,构建非线性特征映射 $g$ 比线性 $g$ 能更准确地逼近 $u$。