ReLU 归来：利用大语言模型中的激活稀疏性
机器学习
2023-10-10 v1 人工智能
摘要
具有数十亿参数的大语言模型（LLM）已彻底改变了 AI 应用。然而，它们在推理期间的高计算需求对资源受限设备上的部署提出了重大挑战。尽管近期趋势偏爱以计算量增加著称的 GELU 或 SiLU 等替代激活函数，本研究强烈主张在 LLM 中恢复使用 ReLU 激活。我们证明，使用 ReLU 激活函数对收敛和性能的影响可忽略不计，同时显著减少计算和权重传输。这种减少在内存受限的推理步骤中尤为宝贵，因为效率至关重要。探索基于 ReLU 的 LLM 中的稀疏性模式，我们揭示了激活神经元的复用可用于生成新词元，并利用这些见解，我们提出了实用策略，在使用 ReLU 激活且性能权衡极小的情况下，将 LLM 推理计算大幅减少至多三倍。
引用
@article{arxiv.2310.04564,
title = {ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models},
author = {Iman Mirzadeh and Keivan Alizadeh and Sachin Mehta and Carlo C Del Mundo and Oncel Tuzel and Golnoosh Samei and Mohammad Rastegari and Mehrdad Farajtabar},
journal= {arXiv preprint arXiv:2310.04564},
year = {2023}
}
备注
preprint