带查询的注意力学习的可证明性

我们研究了使用对输出进行黑盒访问的 Transformer 序列模型学习问题。在这种设置下，学习者可以对任意向量序列进行自适应查询，并观察目标函数的输出。我们首先研究最简单形式的可学习性，即使用查询学习单头注意力基的回归器。我们表明，对于宽度为 $d$ 的模型，存在一种初等算法可通过 $O(d^2)$ 个查询学习单头注意力的参数。进一步地，我们表明，如果存在学习 ReLU 前馈网络（FFN）的算法，那么单头算法可以轻易适应来学习具有单头注意力的一层 Transformer。接下来，我们表明，在头维度 $r \ll d$ 的常见情况下，可以通过压缩感知论证使用 $O(rd)$ 个查询来学习单头注意力模型。我们还研究了对噪声黑盒访问的鲁棒性，证明在轻微的范数和边际条件下，即使输出仅提供到加法容忍值，参数也可在多项式数量的查询内估计到 $\varepsilon$ 精度。最后，我们考虑了多头注意力的可学习性，并指出它们无法从查询中被识别，因此在相同意义下没有可行的学习方法，除非在额外的假设下。我们讨论了在某些结构假设下学习多头注意力模型的潜在方法。