关于用神经网络逼近 $\nabla f$

考虑一个前馈神经网络 $\psi: \mathbb{R}^d\rightarrow \mathbb{R}^d$ 使得 $\psi\approx \nabla f$，其中 $f:\mathbb{R}^d \rightarrow \mathbb{R}$ 是一个光滑函数，因此 $\psi$ 必须满足 $\partial_j \psi_i = \partial_i \psi_j$ 逐点成立。我们证明了一个定理：具有多于一个隐藏层的 $\psi$ 网络只能在其第一个隐藏层中表示一个特征；这与广为人知的一个隐藏层的结果截然不同。该定理的证明是直接的，其中两条反向路径和一个权值绑定矩阵起关键作用。然后我们给出替代方案，即隐式参数化，其中神经网络为 $\phi: \mathbb{R}^d \rightarrow \mathbb{R}$ 且 $\nabla \phi \approx \nabla f$；此外，对 $\nabla \phi$ 的“软分析”给出了关于该定理的对偶视角。自始至终，我们回到近期表述为 $\nabla \phi \approx \nabla f$ 的概率模型，并以对去噪自编码器的批评作结。