SparseOptimizer：通过 Moreau-Yosida 正则化稀疏化语言模型并借由编译器协同设计加速
机器学习
2023-07-19 v3 人工智能
计算复杂性
计算与语言
数学软件
摘要
本文介绍 SparseOptimizer，一种利用 Moreau-Yosida 正则化在自然诱导 BERT、ALBERT 和 GPT 等大型语言模型稀疏性的新型深度学习优化器。SparseOptimizer 设计的关键在于内嵌收缩算子，该算子在优化过程中直接赋予稀疏性。该算子在扎实的理论框架下具备解析解，从而增强了优化器的鲁棒性与有效性。关键的是，SparseOptimizer 的即插即用功能免除了代码修改需要，使其成为适用于广泛大型语言模型的通用工具。在 GLUE、RACE、SQuAD1 和 SQuAD2 等基准数据集上的实证评估证实，经 SparseOptimizer 稀疏化的 SparseBERT 与 SparseALBERT 取得了与稠密对应模型 BERT 和 ALBERT 相当的性能，同时显著减少了参数量。此外，本工作提出一种创新的优化器-编译器协同设计策略，在 SparseBERT 与适当设计的编译器配合时展示了推理加速潜力（相较 Pytorch、TensorFlow 和 LLVM 通用编译分别达 \textbf{3.37x}、\textbf{6.30x} 和 \textbf{7.15x}）。本研究在高效、可扩展且高性能大型语言模型的发展中代表重要一步，为该领域未来探索与优化树立先例。SparseOptimizer 代码与 SparseALBERT 模型将在论文录用后公开。
引用
@article{arxiv.2306.15656,
title = {SparseOptimizer: Sparsify Language Models through Moreau-Yosida Regularization and Accelerate via Compiler Co-design},
author = {Fu-Ming Guo},
journal= {arXiv preprint arXiv:2306.15656},
year = {2023}
}