利用 Transformers 从易到难数据学习组合函数

基于 Transformer 的语言模型在一系列复杂推理任务中展现出了令人印象深刻的能力。先前探索 Transformer 表达能力的理论工作表明，它们能够高效执行涉及可并行化计算的多步推理任务。然而，此类构造的可学习性，特别是关于使基于梯度的优化能够实现高效学习的数据分布条件，仍是一个开放问题。为了回答这个问题，我们在本研究中探讨了 $k$ 折复合任务的可学习性，该任务需要计算 $k$ 个输入排列和 $k$ 个隐藏排列的交错复合，并且可以由一个 $O(\log k)$ 层的 Transformer 表示。在负面结论方面，我们证明了一个 Statistical Query (SQ) 下界，表明任何仅向 $k$ 折复合任务分布的 SQ 预言机进行多项式次查询的 SQ 学习器，其样本量必须达到关于 $k$ 的指数级，从而确立了一个统计-计算鸿沟。另一方面，我们表明该函数类可以通过对 $O(\log k)$ 深度 Transformer 进行梯度下降而被高效学习，其运行时间和样本复杂度均与 $k$ 呈多项式关系，这通过两种不同的课程学习策略实现：一种是由难度递增的 $k' \le k$ 的 $k'$ 折复合函数数据组成，另一种是所有此类数据同时呈现。我们的工作揭示了在数据分布中同时包含简单和困难示例对于 Transformer 学习复杂组合任务的必要性与充分性。