模型出血与大型语言模型的鲁棒性极限
计算与语言
2025-04-01 v1 机器学习
摘要
大型语言模型 (LLMs) 在自然语言处理任务中表现出强大的性能，但在通过量化、修剪或解码策略调整进行部署修改后，性能会显著恶化。我们将这一现象定义为模型出血 - 参数变更和架构变化导致的性能下降。通过对各种 LLM 框架进行系统性分析，我们识别出关键脆弱模式：层级扩展常常破坏注意力机制，压缩技术诱导信息丢失级联，解码调整放大预测偏差。我们的调查发现，Transformer 架构具有决定性出血严重程度的内在鲁棒性阈值。我们提出了三种缓解策略：梯度感知式修剪保留关键权重路径，动态量化缩放保持激活完整性，解码校准将生成轨迹与原始模型分布对齐。该工作为评估模型在适应期间的稳定性建立了基础指标，为在保持性能的同时实现高效 LLM 部署提供了实用指南。我们的发现推进了对神经网络在架构转换下鲁棒性的理解，特别是针对大规模语言模型。
引用
@article{arxiv.2503.23924,
title = {Model Hemorrhage and the Robustness Limits of Large Language Models},
author = {Ziyang Ma and Zuchao Li and Lefei Zhang and Gui-Song Xia and Bo Du and Liangpei Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2503.23924},
year = {2025}
}
备注
33 pages, 18 figures