不同深度的Transformer能学到什么？序列学习任务的案例研究
机器学习
2024-04-03 v1
摘要
我们研究了不同深度的Transformer架构的能力。具体地，我们设计了一组新颖的序列学习任务，以系统评估和理解Transformer的深度如何影响其记忆、推理、泛化和上下文泛化能力。我们表明，仅有一个注意力层的Transformer在记忆方面表现出色，但在其他任务上表现不佳。然后，我们表明，展现推理和泛化能力需要Transformer至少有两个注意力层，而上下文泛化能力可能需要三个注意力层。此外，我们识别了一类单个注意力层可以执行的简单操作，并表明复杂任务可以视为这些简单操作的组合，因此可以通过堆叠多个注意力层来解决。这为研究超出我们设计的更实际和复杂的任务提供了启示。数值实验证实了我们的理论发现。
引用
@article{arxiv.2404.01601,
title = {What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks},
author = {Xingwu Chen and Difan Zou},
journal= {arXiv preprint arXiv:2404.01601},
year = {2024}
}