你的 Transformer 实际上是线性的

Anton Razzhigaev; Matvey Mikhalchuk; Elizaveta Goncharova; Nikolai Gerasimenko; Ivan Oseledets; Denis Dimitrov; Andrey Kuznetsov

你的 Transformer 实际上是线性的

机器学习 2024-05-22 v1 人工智能计算与语言

作者: Anton Razzhigaev , Matvey Mikhalchuk , Elizaveta Goncharova , Nikolai Gerasimenko , Ivan Oseledets , Denis Dimitrov , Andrey Kuznetsov

在 arXiv 上查看 ↗ PDF ↗

摘要

本文揭示了 Transformer 解码器独有的一种新颖线性特征，包括 GPT、LLaMA、OPT、BLOOM 等模型。我们分析了顺序层之间的嵌入变换，发现了近乎完美的线性关系（Procrustes 相似度得分为 0.99）。然而，由于 Transformer 层的输出范数持续较低，当移除残差分量时，线性度会下降。我们的实验表明，移除或线性近似 Transformer 中线性度最高的部分模块，并不会显著影响损失或模型性能。此外，在较小模型的预训练实验中，我们引入了一种基于余弦相似度的正则化，旨在降低层线性度。这种正则化提高了在 Tiny Stories 和 SuperGLUE 等基准测试上的性能指标，同时也成功降低了模型的线性度。本研究挑战了对 Transformer 架构的现有理解，表明其运行机制可能比先前假设的更具线性特征。

关键词

Transformer 线性关系残差分量余弦相似度正则化模型性能

引用

@article{arxiv.2405.12250,
  title  = {Your Transformer is Secretly Linear},
  author = {Anton Razzhigaev and Matvey Mikhalchuk and Elizaveta Goncharova and Nikolai Gerasimenko and Ivan Oseledets and Denis Dimitrov and Andrey Kuznetsov},
  journal= {arXiv preprint arXiv:2405.12250},
  year   = {2024}
}

备注

9 pages, 9 figures

你的 Transformer 实际上是线性的

摘要

关键词

引用

备注

相关论文