通过图神经网络的视角理解 Transformer 的失效模式

Transformer 以及更具体地说，仅解码器结构的 Transformer 在现代大型语言模型架构中占据主导地位。尽管它们表现出色，但也并非没有问题，导致出现意想不到的失效模式和可预测的性能非对称性退化。本文通过图神经网络 (GNN) 理论，研究了 Transformer 所观察到的许多失效模式。我们首先论证，深度学习包括 Transformer 在内，本质上是关于可学习的信息混合与传播。这自然将模型失效模式的研究视为信息传播瓶颈的研究，进而引向图神经网络理论，而该领域已有丰富的文献关于信息传播瓶颈和模型的理论失效模式。我们随后论证，GNN 所面临的许多问题也同样影响着 Transformer。此外，我们分析了仅解码器结构的 Transformer 所产生的因果性质带来的信息传播的几何特性，导致可预测且可能毁灭性的失效模式。最后，我们观察到，Transformer 研究中现有的解决方案往往是直觉主导的，而缺乏基于理论动机的统一视角。因此，我们在更理论的视角下统一了许多解决方案，提供对它们为何有效、实际解决了什么问题以及如何进一步改进以针对特定失效模式的洞见。总体而言，本文旨在搭建 Transformer 所观察到的失效模式与该领域对其理论理解欠缺之间的桥梁。