两参数模型与梯度流中的高维目标可学习性

我们探讨了使用梯度流 (GF) 在参数数目 W 小于目标维数 d 的情况下学习 d 维目标的理论可能性。我们的主要结果表明，如果目标描述为特定的 d 维概率分布，则存在最多两个参数的模型能够以任意高的成功概率学习这些目标。另一方面，我们表明对于 W<d，必然存在大量 GF-不可学习目标的子集。特别是，可学习目标的集合在 $\mathbb{R}^d$ 中不是稠密的，且任何维为 W 的球面同胚的 $\mathbb{R}^d$ 子集都包含不可学习的目标。最后，我们注意到我们主要定理中关于几乎保证的两参数学习的模型是通过分层程序构建的，因此不能用单个初等函数表示。我们证明了这一限制是必然的，即大多数以初等函数形式编写的模型无法实现本定理中展示的可学习性。