一种适应域外本征维度的深度网络构造

我们研究通过带 ReLU 激活的深度网络来逼近两层复合函数 $f(x) = g(\phi(x))$，其中 $\phi$ 是一个几何直观、降维的特征映射。我们关注两种直观且实际相关的 $\phi$ 选择：到低维嵌入子流形的投影，以及到一组低维集合的距离。我们实现了接近最优的逼近速率，其仅依赖于降维映射 $\phi$ 的复杂度而非环境维度。由于 $\phi$ 封装了与函数 $f$ 相关的所有非线性特征，这表明深度网络忠实于由 $f$ 支配的本征维度，而非 $f$ 定义域的复杂度。特别地，使用类型为 $f(x) = g(\phi(x))$ 的函数（其中 $\phi$ 表示到同一流形的正交投影）可显著放宽关于在低维流形上逼近函数的普遍假设。