Transformer 学习动力学中的分布简单性偏置

过参数化神经网络有效泛化的卓越能力可以通过引入“简单性偏置”来解释：神经网络通过最初学习简单的分类器，然后再逐步过渡到更复杂的非线性函数，从而防止过拟合。虽然简单性偏置已在用于监督学习的前馈网络中得到了理论和实验上的描述，但它们在多大程度上也能解释使用自监督技术训练的 Transformer 所取得的显著成功，仍不清楚。在我们的研究中，我们证明了在自然语言数据上训练的 Transformer 也表现出简单性偏置。具体而言，它们依次学习输入 token 之间的多体相互作用，在低阶相互作用的预测误差达到饱和点的同时，继续学习高阶相互作用。为了进行这项分析，我们开发了一种生成给定自然语言数据集克隆的流程，这些克隆严格捕捉了高达指定阶数的 token 之间的相互作用。这种方法为研究数据中不同阶数的相互作用如何影响学习开启了可能性，不仅限于自然语言处理，也适用于其他领域。