无穷下降法

训练——即复杂模型的优化——传统上通过微小的、局部的、迭代的更新来完成 [D. E. Rumelhart, G. E. Hinton, R. J. Williams, Nature 323, 536-538 (1986)]。通过截断梯度近似解是一种可追溯至 Cauchy [A.-L. Cauchy, Comptes Rendus Mathématique 25, 536-538 (1847)] 和 Newton [I. Newton, The Method of Fluxions and Infinite Series (Henry Woodfall, London, 1736)] 的范式。本工作引入了无穷下降法，这是一种半解析优化范式，将训练重新表述为一阶最优性条件的直接解。通过对其 Taylor 展开进行解析重求和，该方法为更新步长产生了一个精确的代数方程。形式上推导了无穷 Taylor 塔的级联重求和的实现，并提出了一种用于直接求解步骤的开发式算法。这一原理通过本文引入的 AION（Analytic, Infinitely-Optimisable Network）架构进行了演示。AION 是一种明确设计以满足无穷下降所需的代数闭包的模型。在一个简单的测试问题中，AION 仅需单次下降步骤即可达到最优。该优化器-模型对共同例证了解析结构如何实现精确的非迭代收敛。无穷下降法不仅限于此例，适用于任何适当闭合的架构。这提出了一类新的半解析可优化模型：无穷类；并讨论了类成员的充分条件。这为非迭代学习提供了一条途径。