DPHuBERT：自监督语音模型的联合蒸馏与剪枝
计算与语言
2023-05-30 v1 声音
音频与语音处理
摘要
自监督学习（SSL）已在诸多语音处理任务中取得显著成功，但庞大的模型规模与沉重的计算开销阻碍了部署。知识蒸馏训练一个小规模学生模型以模仿大规模教师模型的行为。然而，学生架构通常需手动设计并在训练期间保持固定，这要求先验知识且可能导致次优性能。受近期任务特定结构化剪枝成功的启发，我们提出 DPHuBERT，一种基于联合蒸馏与剪枝的、面向语音 SSL 的新型任务无关压缩方法。在 SUPERB 上的实验表明，DPHuBERT 在几乎所有任务上均优于纯蒸馏方法。此外，DPHuBERT 所需训练时间少，且在有限训练数据下表现良好，使其适用于资源受限应用。我们的方法亦可应用于各类语音 SSL 模型。我们的代码与模型将公开可用。
引用
@article{arxiv.2305.17651,
title = {DPHuBERT: Joint Distillation and Pruning of Self-Supervised Speech Models},
author = {Yifan Peng and Yui Sudo and Shakeel Muhammad and Shinji Watanabe},
journal= {arXiv preprint arXiv:2305.17651},
year = {2023}
}
备注
Accepted at INTERSPEECH 2023. Code will be available at: https://github.com/pyf98/DPHuBERT