将剪枝作为正则化：ASR 中的灵敏度感知一次性剪枝
音频与语音处理
2025-11-12 v1 计算与语言
声音
摘要
我们挑战了将神经网络剪枝仅视为压缩技术的常规观点，表明一次性幅度剪枝是 ASR 的强大隐式正则化器。使用 Whisper-small，我们将梯度和 Fisher 基于灵敏度诊断与针对性、组件级剪枝相结合。这揭示了架构的非对称性：解码器 FFN 易受剪枝影响，而解码器自注意力机制和最后编码器层包含可被移除的冗余，从而改善泛化。无需微调，剪枝解码器自注意力 50% 可在 LibriSpeech test-other 上将词错误率降低 2.38% 绝对值 (20.44% 相对值)；剪枝最后四个编码器层 50% 可获得 1.72% 绝对值 (14.8% 相对值) 的改进。该改进在 Common Voice 和 TED-LIUM 数据集上也得到验证。除了正则化优势外，我们的灵敏度感知方法还能实现更激进的一次性压缩。在 40% 稀疏度时，已知的全局剪枝方法会严重失败，而我们的方法保持接近基准的准确率。这将剪枝定位为一级架构设计工具：知道在何处剪枝与剪枝多少同等重要。
引用
@article{arxiv.2511.08092,
title = {Pruning as Regularization: Sensitivity-Aware One-Shot Pruning in ASR},
author = {Julian Irigoyen and Arthur Söhler and Andreas Søeborg Kirkedal},
journal= {arXiv preprint arXiv:2511.08092},
year = {2025}
}
备注
Submitted to ICASSP 2026