强化局部 $L^p$ 型普适逼近性质的典范变换

大多数 $L^p$ 型普适逼近定理保证：对于给定的机器学习模型类 $\mathscr{F}\subseteq C(\mathbb{R}^d,\mathbb{R}^D)$，对任意合适的 $\mathbb{R}^d$ 上有限 Borel 测度 $\mu$，$\mathscr{F}$ 在 $L^p_{\mu}(\mathbb{R}^d,\mathbb{R}^D)$ 中稠密。遗憾的是，这意味着模型的逼近质量在 $\mathbb{R}^d$ 中某个紧子集之外会迅速退化，因为任何此类测度都主要集中在其有界子集上。本文通过引入一种“升级 $\mathscr{F}$ 逼近性质”的典范变换，对该逼近理论问题给出通用解法。所示变换后的模型类记为 $\mathscr{F}\text{-tope}$，被证明在 $L^p_{\mu,\text{strict}}(\mathbb{R}^d,\mathbb{R}^D)$ 中稠密，后者是一个其元素为局部 $p$ 可积函数的拓扑空间，且其拓扑比 $L^p_{\mu}(\mathbb{R}^d,\mathbb{R}^D)$ 上通常的范数拓扑精细得多；此处 $\mu$ 为 $\mathbb{R}^d$ 上任意合适的 $\sigma$-有限 Borel 测度。接着，我们证明若 $\mathscr{F}$ 为任意解析函数族，则 $\mathscr{F}\text{-tope}$ 的表达能力与其自身之间总存在严格“鸿沟”，因为我们发现 $\mathscr{F}$ 绝不可能在 $L^p_{\mu,\text{strict}}(\mathbb{R}^d,\mathbb{R}^D)$ 中稠密。在 $\mathscr{F}$ 可能含非解析函数的一般情形下，我们给出这些结果的抽象形式，保证总存在某个函数空间使 $\mathscr{F}\text{-tope}$ 稠密而 $\mathscr{F}$ 不稠密，且其逆永不可能。本文探讨了在前馈网络、卷积神经网络与多项式基上的应用。