AVSS: 通过激活方差-稀疏度分析评估大语言模型中的层重要性
计算与语言
2024-11-05 v1
摘要
深度学习中层重要性的评估一直是一个活跃的研究领域，对模型优化和可解释性具有重要意义。近年来，大语言模型(LLM)在各个领域崭露头角，但关于LLM中单个层的功能重要性和性能贡献的研究仍然有限，尤其是从激活分布的角度。在这项工作中，我们提出了激活方差-稀疏度分数(AVSS)，这是一种结合了归一化激活方差和稀疏度的新颖度量，用于评估每一层对模型性能的贡献。通过基于AVSS识别并移除大约最低的25%的层，我们在问答、语言建模和情感分类等任务上实现了超过90%的原始模型性能，表明这些层可能并非必要。我们的方法提供了一种系统性的方法来识别不太关键的层，有助于构建高效的大语言模型架构。
引用
@article{arxiv.2411.02117,
title = {AVSS: Layer Importance Evaluation in Large Language Models via Activation Variance-Sparsity Analysis},
author = {Zichen Song and Yuxin Wu and Sitan Huang and Zhongfeng Kang},
journal= {arXiv preprint arXiv:2411.02117},
year = {2024}
}
备注
4 pages, 1 figure