超越困惑度：大语言模型压缩的多维安全评估
计算与语言
2024-10-15 v3
摘要
模型压缩技术日益增多地使大语言模型（LLM）能够在实际应用中部署。由于这种将 LLM 本地化部署的趋势，压缩后的 LLM 将与大规模人群互动。以往的压缩工作通常优先保持困惑度，这直接类似于训练损失。压缩方法对模型行为的其他关键方面的影响——尤其是安全性——需要系统性评估。为此，我们沿用四个维度来考察模型压缩的影响：（1）退化危害，即生成中的偏见和有毒性；（2）表征性危害，即判别任务中的偏见；（3）方言偏见；以及（4）语言建模和下游任务性能。我们检验了广泛的 LLM 压缩技术，包括非结构化剪枝、半结构化剪枝和量化。我们的分析显示，压缩可能导致意外后果。尽管压缩可能无意中减轻 LLM 的退化危害，但仍可能加剧表征性危害。此外，增加压缩对不同受保护群体的影响呈现出差异。最后，不同的压缩方法对安全性的影响截然不同：例如，量化主要保持偏见，而剪枝则快速降解。我们的发现凸显了将安全性评估集成到压缩 LLM 的开发中以确保其在实际应用中的可靠性的重要性。
引用
@article{arxiv.2407.04965,
title = {Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression},
author = {Zhichao Xu and Ashim Gupta and Tao Li and Oliver Bentham and Vivek Srikumar},
journal= {arXiv preprint arXiv:2407.04965},
year = {2024}
}
备注
Findings of EMNLP 2024