面向LLM的对齐约束动态剪枝：识别与保留对齐关键电路
机器学习
2025-11-12 v1 人工智能
计算与语言
摘要
大型语言模型推理需要大量计算资源，构成部署挑战。虽然动态剪枝通过自适应电路选择在效率上优于静态方法，但会因仅保留输入依赖性强的安全关键电路而加剧对齐降解。结果是，针对这些加剧的对齐脆弱性至关重要。我们引入对齐感知探针剪枝（Alignment-Aware Probe Pruning, AAPP），这是一种在推理期间自适应保留对齐相关电路的动态结构化剪枝方法，基于探针剪枝。在LLaMA 2-7B、Qwen2.5-14B-Instruct和Gemma-3-12B-IT上进行实验显示，AAPP在匹配计算预算下以50%的拒绝率提升，实现高效且安全的LLM部署。
引用
@article{arxiv.2511.07482,
title = {Alignment-Constrained Dynamic Pruning for LLMs: Identifying and Preserving Alignment-Critical Circuits},
author = {Dev Patel and Gabrielle Gervacio and Diekola Raimi and Kevin Zhu and Ryan Lagasse and Gabriel Grand and Ashwinee Panda and Maheep Chaudhary},
journal= {arXiv preprint arXiv:2511.07482},
year = {2025}
}