论剪枝与蒸馏对高效低资源 NLP 的重要性
计算与语言
2024-09-24 v1 机器学习
摘要
大型 Transformer 模型的兴起彻底改变了自然语言处理，在文本分类等任务中取得了显著进展。然而，这种进步需要大量的计算资源，随着模型规模的增大，训练时间和费用也随之攀升。目前已有许多努力致力于缩小和加速英文模型（例如 Distilbert、MobileBert），但对于低资源语言，这方面的研究仍然很少。在本研究中，我们以低资源印度-雅利安语言马拉地语为例。我们以 marathi-topic-all-doc-v2 模型作为基线，实施优化技术以减少计算时间和内存使用。我们的重点是在保持顶尖准确率并降低计算需求的同时，提升马拉地语 Transformer 模型的效率。使用 MahaNews 文档分类数据集和来自 L3Cube 的 marathi-topic-all-doc-v2 模型，我们分别独立及组合应用了块移动剪枝、知识蒸馏和混合精度方法以提升效率。我们证明了策略性剪枝级别对实现预期效率提升的重要性。此外，我们分析了效率提升与环境影响之间的平衡，强调了优化模型架构如何有助于构建更可持续的计算生态系统。在单 GPU 系统上实施这些技术后，我们确定最佳配置为 25% 剪枝 + 知识蒸馏。该方法在保持基线准确率水平的同时，实现了 2.56 倍的计算时间加速。
引用
@article{arxiv.2409.14162,
title = {On Importance of Pruning and Distillation for Efficient Low Resource NLP},
author = {Aishwarya Mirashi and Purva Lingayat and Srushti Sonavane and Tejas Padhiyar and Raviraj Joshi and Geetanjali Kale},
journal= {arXiv preprint arXiv:2409.14162},
year = {2024}
}