ResNet 与 Softmax 的统一框架

大语言模型（LLMs）已给人类社会带来重大改变。Softmax 回归与残差神经网络（ResNet）是深度学习中的两项重要技术：它们不仅作为支撑 LLMs 功能的重要理论组件，还关联众多其他机器学习与理论计算机科学领域，包括但不限于图像分类、目标检测、语义分割与张量。既往研究分别考察这两个概念。本文中，我们对回归问题给出理论分析：$\| \langle \exp(Ax) + A x , {\bf 1}_n \rangle^{-1} ( \exp(Ax) + Ax ) - b \|_2^2$，其中 $A$ 为 $\mathbb{R}^{n \times d}$ 中矩阵，$b$ 为 $\mathbb{R}^n$ 中向量，${\bf 1}_n$ 为各分量全为 $1$ 的 $n$ 维向量。该回归问题是一个结合 softmax 回归与 ResNet 的统一框架，此前从未被提出。我们推导了损失函数的梯度、Hessian 与 Lipschitz 性质。Hessian 被证明为半正定，其结构表征为低秩矩阵与对角矩阵之和。这促成了一种高效的近似牛顿法。因此，该统一框架有助于连接两个原先被认为无关的字段，并为新兴过参数化神经网络的损失景观与优化提供新见解，对深度学习模型未来研究有意义。