一种过参数化指数回归

过去几年中，大量研究聚焦于 ReLU 激活函数，旨在通过过参数化实现神经网络收敛。然而，大语言模型 (LLMs) 领域的最新进展引发了对指数激活函数（特别是在注意力机制中）使用的兴趣。从数学上，我们使用指数激活函数定义神经函数 $F: \mathbb{R}^{d \times m} \times \mathbb{R}^d \rightarrow \mathbb{R}$。给定一组带标签的数据点 $\{(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)\} \subset \mathbb{R}^d \times \mathbb{R}$，其中 $n$ 表示数据数量。此处 $F(W(t),x)$ 可表示为 $F(W(t),x) := \sum_{r=1}^m a_r \exp(\langle w_r, x \rangle)$，其中 $m$ 表示神经元数量，$w_r(t)$ 为时刻 $t$ 的权重。文献中标准设定为 $a_r$ 是固定权重且在训练过程中从不改变。我们以随机高斯分布初始化权重 $W(0) \in \mathbb{R}^{d \times m}$，使得 $w_r(0) \sim \mathcal{N}(0, I_d)$，并对每个 $r \in [m]$ 从随机符号分布初始化 $a_r$。使用梯度下降算法，我们可以找到一个权重 $W(T)$ 使得 $\| F(W(T), X) - y \|_2 \leq \epsilon$ 以概率 $1-\delta$ 成立，其中 $\epsilon \in (0,0.1)$ 且 $m = \Omega(n^{2+o(1)}\log(n/\delta))$。为优化过参数化界 $m$，我们采用了先前研究 [Song and Yang arXiv 2019, Munteanu, Omlor, Song and Woodruff ICML 2022] 中的若干紧分析技术。