两层非线性回归中近似牛顿法的局部收敛性

大型语言模型(LLMs)在日常生活诸多方面取得了显著进展。LLMs作为自然语言处理中的变革性力量,在文本生成、翻译、情感分析和问答等应用中发挥着作用。LLMs的成就引发了该领域研究力度的大幅增加。一个特定的两层回归问题在先前工作中已被充分研究,其中第一层由ReLU单元激活,第二层由softmax单元激活。尽管先前工作对构建两层回归提供了扎实的分析,但在分析构建超过两层的回归问题方面仍存在空白。在本文中,我们朝解决该问题迈出了关键一步:我们对一个两层回归问题提供分析。与先前工作不同,我们的第一层由softmax单元激活。这为未来基于softmax函数创建更多激活函数的分析奠定了基础。对softmax函数的重排导致了显著不同的分析。我们的主要结果涉及分析用于最小化正则化训练损失的近似牛顿法的收敛性质。我们证明在某些假设下,Hessian矩阵对应的损失函数是正定且Lipschitz连续的。这使我们能为所提出的训练算法建立局部收敛保证。具体而言,在适当初始化且经过$O(\log(1/\epsilon))$次迭代后,我们的算法能以高概率找到训练损失的$\epsilon$-近似极小点。每次迭代大约需要$O(\mathrm{nnz}(C) + d^\omega)$时间,其中$d$为模型规模,$C$为输入矩阵,$\omega < 2.374$为矩阵乘法指数。