广义近似硬性与 SCI 层次结构——论确定人工智能中训练算法的边界

近似硬性（HA）——即假设 P $\neq$ NP，对于 $\epsilon > \epsilon_0 > 0$ 可轻易计算离散计算问题解的 $\epsilon$-近似，而当 $\epsilon < \epsilon_0$ 时突然变得难解的现象——是计算基础中改变计算机科学的核心现象。本文研究计算数学基础中新发现的广义近似硬性（GHA）现象，其在精神上接近计算机科学中的经典 HA。然而，GHA 在许多情况下通常独立于 P 与 NP 问题，因此需要我们在本文中开启的新数学框架。我们展示了迄今未被发现的如下现象：当使用 AI 技术训练最优神经网络（NNs）时会发生 GHA。特别地，对于任意非零欠定线性问题，可能出现如下相变：可证明存在求解该问题的最优 NN，但它们只能被计算到某一精度 $\epsilon_0 > 0$。在近似阈值 $\epsilon_0$ 以下——不仅计算该 NN 变得难解——而且无论计算能力如何都变得不可能，且任何随机算法以优于 1/2 的概率求解该问题均不可行。在其他情况下，尽管存在稳定的最优 NN，任何在近似阈值 $\epsilon_0$ 以下计算它的尝试都将产生不稳定的 NN。我们的结果运用并扩展了可解性复杂度指数（SCI）层次结构的当前数学框架，并推动了一个在计算数学与 AI 中探测 GHA 现象的计划。