垂直LoRA：Transformer的密集期望最大化解释
人工智能
2024-06-14 v1 计算机视觉与模式识别
机器学习
摘要
在本文中，我们展示了如何将Transformer解释为在贝叶斯网络上执行的密集期望最大化算法。基于上述解释，我们提出了一种新的模型设计范式，即垂直LoRA（VLoRA），它在保持性能的同时大幅减少了参数数量。在VLoRA中，模型由多个层组成，每一层都基于前一层递归地学习一个增量。然后我们将LoRA分解应用于这些增量。VLoRA作用于基础模型，这与LoRA是正交的，意味着它们可以一起使用。我们在各种任务和模型上进行了实验。结果表明：1）使用VLoRA，Transformer模型的参数数量可以大幅减少；2）原始模型的性能得以保持。源代码可在\url{https://github.com/neverUseThisName/vlora}获取。
引用
@article{arxiv.2406.09315,
title = {Vertical LoRA: Dense Expectation-Maximization Interpretation of Transformers},
author = {Zhuolin Fu},
journal= {arXiv preprint arXiv:2406.09315},
year = {2024}
}