能否计算出稳定且精确的神经网络？——关于深度学习的障碍与斯梅尔第18问题

深度学习(DL)取得了前所未有的成功，并正全力进入科学计算领域。然而，当前的DL方法通常存在不稳定性，即便万能逼近性质保证了稳定神经网络(NN)的存在。我们通过对科学计算中基本良态问题的证明来解决这一悖论：在这些问题中，可以证明存在具有极佳逼近质量的NN，但不存在任何算法（即使是随机化算法）能够训练（或计算）出这样的NN。对于任意正整数 $K > 2$ 和 $L$，存在如下同时成立的情形：(a) 没有任何随机化训练算法能以大于 $1/2$ 的概率计算出精确到 $K$ 位的NN；(b) 存在确定性训练算法可计算出具有 $K-1$ 位精确度的NN，但任何此类（即使是随机化）算法都需要任意多的训练数据；(c) 存在确定性训练算法使用不超过 $L$ 个训练样本计算出具有 $K-2$ 位精确度的NN。这些结果暗示了一种分类理论，用以描述在何种条件下算法可计算出给定精度的（稳定）NN。我们通过对逆问题中计算稳定NN的算法存在性建立充分条件来开启该理论。我们引入了快速迭代重启网络(Fast Iterative REstarted NETworks, FIRENETs)，并从理论和数值上验证了其稳定性。此外，我们证明对于逆问题的 $\epsilon$-精确解，仅需 $\mathcal{O}(|\log(\epsilon)|)$ 层。