TraceNAS：基于梯度轨迹相关性的零样态 LLM 剪枝
机器学习
2026-02-04 v1 计算与语言
摘要
结构化剪枝是高效部署大型语言模型 (LLM) 的关键。LLM 子模块对剪枝的敏感性各不相同， necessitating识别最佳非均匀剪枝模型。现有方法仅就单一层、注意力头或权重通道的重要性进行评估，这些局部关注忽略了跨模型的复杂全局结构依赖。训练感知的结构化剪枝解决了全局依赖问题，但计算成本和后剪枝训练相当。为了减轻训练感知剪枝的计算负担并捕获全局结构依赖，我们提出 TraceNAS，一个无训练神经网络架构搜索 (NAS) 框架，联合探索 LLM 深度和宽度的结构化剪枝。TraceNAS 通过基于尺度不变性零样态代理识别被剪枝模型，有效选择在后剪枝训练期间保持高度损失景观对齐的模型。TraceNAS 高效，使其能够在单张 GPU 上实现高保真发现被剪枝模型，较训练感知方法实现 10 倍 GPU 小时减少。在 Llama 和 Qwen 系列模型上进行评估，显示 TraceNAS 在常识和推理基准测试中与训练感知基线相当。
引用
@article{arxiv.2602.02891,
title = {TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation},
author = {Prajna G. Malettira and Manish Nagaraj and Arjun Roy and Shubham Negi and Kaushik Roy},
journal= {arXiv preprint arXiv:2602.02891},
year = {2026}
}
备注
Preprint