Transformer 能否克服维度诅咒：一种从逼近视角的理论研究

Transformer 模型在机器学习的 various 应用领域中广泛使用，如自然语言处理。本文研究了对 H"older 连续函数类 $\mathcal{H}_{Q}^{\beta}\left([0,1]^{d\times n},\mathbb{R}^{d\times n}\right)$ 的 Transformer 逼近，并构建了几种可克服维度诅咒的 Transformer。这些 Transformer 由一个具有单个注意力头和 softmax 函数作为激活函数的自注意力层，以及若干前馈层组成。例如，若 Transformer 中前馈层的激活函数为 ReLU 和 floor，只需 $\mathcal{O}\left(\log\frac{1}{\epsilon}\right)$ 层的前馈层，层宽不超过 $\mathcal{O}\left(\frac{1}{\epsilon^{2/\beta}}\log\frac{1}{\epsilon}\right)$。若允许前馈层使用其他激活函数，前馈层宽度可进一步减小为常数。这些结果表明 Transformer 具备强大的表达能力。本文的构造基于Kolmogorov-Arnold 表示定理，不需要上下文映射的概念，因此我们的证明比以前的 Transformer 逼近论文更直观。此外，本文提出的翻译技术有助于将前馈神经网络的先前逼近结果应用于 Transformer 研究。