权重的静默：一种基于二阶度量的注意力音频信号架构结构化剪枝策略
声音
2026-03-17 v2 机器学习
摘要
基于Transformer的模型凭借注意力机制，已成为从自然语言处理到机器听觉等多个领域的最先进技术。然而，注意力层在训练和推理时都需要大量参数和高端硬件。我们提出一种专门针对注意力机制的新型通道剪枝技术，将每个注意力头以及注意力块中的四个层（查询、键、值和输出投影矩阵）的剪枝解耦，并采用二阶度量对网络参数进行评分。我们将该技术与注意力头剪枝策略和基于幅值的评分度量进行了比较，研究了剪枝对音频频谱Transformer（AST）和Whisper的影响。我们的结果表明，即使在剪枝掉注意力块中50%的参数后，性能仍基本得以保持。
引用
@article{arxiv.2509.26207,
title = {The silence of the weights: a structural pruning strategy for attention-based audio signal architectures with second order metrics},
author = {Andrea Diecidue and Carlo Alberto Barbano and Piero Fraternali and Mathieu Fontaine and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2509.26207},
year = {2026}
}