自监督语音 Transformer 中的属性神经元

目前已有许多研究对自监督语音Transformer进行分析，尤其是进行分层分析。然而，仍希望有一种方法能够精确定位负责语音特定属性的神经元子集，这种方法有利于模型修剪和模型编辑。在本工作中，我们识别了Transformer前馈层中一组属性神经元，以研究语音相关属性（如电话、性别和音高）的存储方式。当删除特定属性的神经元（即一种简单的模型编辑形式）时，相应的下游性能会显著下降，表明属性神经元的重要性。我们将此方法应用于Transformer的前馈层修剪，因为这些层包含大部分模型参数。我们表明，在修剪期间保护属性神经元的效果显著优于基于范数的修剪。identifying property neurons的代码已提供，地址为 https://github.com/nervjack2/PropertyNeurons。