困于简单性：当Transformer无法从含噪特征中学习时

噪声在用于训练大语言模型的数据中普遍存在，但人们尚未充分理解这些模型是否能够正确泛化到无噪声生成的输入。在此，我们研究噪声鲁棒学习：在含噪特征数据上训练的Transformer能否找到一个目标函数，该函数能正确预测无噪特征的标签？我们表明，对于选定的 $k$-稀疏奇偶校验和多数函数，Transformer在噪声鲁棒学习方面是成功的，而LSTM即使在适度的特征噪声下也无法完成此任务。然而，我们发现Transformer通常在随机 $k$-junta函数的噪声鲁棒学习中失败，尤其是当最优解的布尔灵敏度小于目标函数的灵敏度时。我们认为，这种失败是由两个因素共同造成的：Transformer偏向于更简单函数，以及观察到对于随机布尔函数，噪声鲁棒学习的最优函数通常具有比目标函数更低的灵敏度。我们通过利用Transformer的简单性偏差将其困于一个错误解中来测试这一假设，但表明Transformer可以通过使用一个惩罚高灵敏度解的额外损失项进行训练来逃脱这个陷阱。总体而言，我们发现Transformer在存在特征噪声的情况下学习布尔函数时特别无效。