变形器的秩相关广义误差界

本文引入了各种覆盖数界限，用于线性函数类，受输入范数和矩阵范数不同约束的限制，这些界限取决于每个矩阵类的秩。我们随后将这些界限应用于推导单层变形器的广义误差。我们的结果改进了文献中多个现有广义误差界限，并且独立于输入序列长度，凸显了在变形器设计中采用低秩矩阵的优势。更具体地说，我们获得的广义误差界随样本长度 $n$ 的衰减为 $O(1/\sqrt{n})$，这改进了研究文献中 $O((\log n)/(\sqrt{n}))$ 级的结果。它也随 $r_w$（查询矩阵和键矩阵组合的秩）的衰减为 $O(\log r_w)$。