MOYU：大型语言模型中大规模过度激活带来提升的理论研究
机器学习
2024-07-01 v2
摘要
大规模过度激活带来的提升（MOYU）是大型语言模型的一个固有属性，而基于MOYU属性的动态激活（DA）是一种巧妙但尚未充分探索的、旨在加速这些模型推理的策略。现有利用MOYU的方法常常面临显著的“不可能三角”：难以同时保持模型性能、提升推理速度以及扩展至各种架构的适用性。由于围绕MOYU的理论模糊性，本文阐明了MOYU属性的根本原因，并概述了当前DA方法遇到的两个主要限制背后的机制：1）与历史相关的激活不确定性，以及2）与语义无关的激活惯性。我们的分析不仅强调了当前动态激活策略在大规模LLaMA模型中的局限性，还提出了改进未来稀疏性方案设计的机会。
引用
@article{arxiv.2406.12569,
title = {MOYU: A Theoretical Study on Massive Over-activation Yielded Uplifts in LLMs},
author = {Chi Ma and Mincong Huang and Chao Wang and Yujie Wang and Lei Yu},
journal= {arXiv preprint arXiv:2406.12569},
year = {2024}
}