Thanos：面向大语言模型压缩的块状剪枝算法

本文提出Thanos，一种 novel 权重剪枝算法，用于减少大型语言模型（LLM）的内存占用和计算效率，同时保持准确率。Thanos引入块状剪枝策略，配合自适应掩码，动态调整以权重重要性为依据，实现灵活的稀疏模式和结构化格式（如$n:m$稀疏），针对硬件加速进行优化。实验评估表明，Thanos在结构化剪枝方面实现了最先进的性能，优于现有方法在非结构化剪枝中的表现。通过提供一种高效且可适应的模型压缩方法，Thanos为在资源受限环境中部署大型模型提供了实用解决方案。