TQCompressor：通过置换改进神经网络中的张量分解方法
机器学习
2024-01-30 v1 人工智能
计算与语言
摘要
我们引入了 TQCompressor，这是一种通过改进的张量分解进行神经网络模型压缩的新方法。我们探讨了预训练语言模型在自然语言处理任务中的计算和存储需求所带来的挑战，并提出了一种基于置换的 Kronecker 分解增强方法。这种增强使得减少通常与因式分解相关的模型表达力损失成为可能。我们展示了该方法应用于 GPT-2 的效果。压缩结果是 TQCompressedGPT-2 模型，其参数量为 8100 万，而 GPT-2 为 1.24 亿。我们公开了 TQCompressedGPT-2。我们通过一种涉及多步知识蒸馏的训练策略，仅使用 3.1% 的 OpenWebText 数据，进一步提升了 TQCompressedGPT-2 的性能。TQCompressedGPT-2 在对比评估中超越了 DistilGPT-2 和 KnGPT-2，标志着在资源受限环境中高效且有效部署模型方面取得了进展。
引用
@article{arxiv.2401.16367,
title = {TQCompressor: improving tensor decomposition methods in neural networks via permutations},
author = {V. Abronin and A. Naumov and D. Mazur and D. Bystrov and K. Tsarova and Ar. Melnikov and I. Oseledets and S. Dolgov and R. Brasher and M. Perelshtein},
journal= {arXiv preprint arXiv:2401.16367},
year = {2024}
}