首激活至关重要：大型语言模型中动态激活的无训练方法
计算与语言
2024-08-22 v1 机器学习
摘要
动态激活（DA）技术，如DejaVu和MoEfication，已展示出显著提升大型语言模型（LLM）推理效率的潜力。然而，这些技术通常依赖ReLU激活函数，或需要额外的参数和训练来维持性能。本文提出了一种无训练的基于阈值的动态激活（TDA）方法，该方法利用序列信息来利用各种架构中模型固有的稀疏性。该方法旨在在不显著牺牲任务性能的前提下，将生成速度提升18-25%，从而解决现有DA技术的局限性。此外，我们深入探讨了LLM稀疏性的根源，并理论分析了其两个关键特征：与历史相关的激活不确定性和语义无关的激活惯性。我们的全面分析不仅为DA方法提供了坚实的理论基础，还提供了有价值的见解，以指导未来优化LLM效率和效果的研究。
引用
@article{arxiv.2408.11393,
title = {First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models},
author = {Chi Ma and Mincong Huang and Ying Zhang and Chao Wang and Yujie Wang and Lei Yu and Chuan Liu and Wei Lin},
journal= {arXiv preprint arXiv:2408.11393},
year = {2024}
}