规避指数时间预处理：基于权重-数据关联预处理的快速神经网络训练

在过去十年中，深度神经网络改变了我们的社会，并已在各种机器学习应用中广泛部署。最先进的深度神经网络规模逐年增大以提升模型精度，因此模型训练消耗大量计算资源，且未来只会消耗更多。使用当前训练方法，在每次迭代中，要在某一层处理数据点 $x \in \mathbb{R}^d$，需花费 $\Theta(md)$ 时间评估该层中全部 $m$ 个神经元。这意味着对 $n$ 个数据点，处理整个层需 $\Theta(nmd)$ 时间。近期工作 [Song, Yang and Zhang, NeurIPS 2021] 将每次迭代的时间降至 $o(nmd)$，但需要对数据或神经网络权重进行指数时间预处理，使其难以具有实际用途。在本工作中，我们提出一种新的预处理方法，简单地将权重-数据关联存储在树数据结构中，以快速、动态地检测每次迭代中哪些神经元被激活。我们的方法预处理仅需 $O(nmd)$ 时间，且每次迭代仍达到 $o(nmd)$ 时间。我们以下界补充了新算法，证明在复杂性理论的一个流行猜想下，无法大幅加速我们用于动态检测激活神经元的算法。