通过解耦知识蒸馏用 LSTM 蒸馏 HuBERT
音频与语音处理
2023-09-19 v1 机器学习
声音
信号处理
摘要
大量研究努力正应用于压缩自监督模型的知识这一任务，这类模型强大但规模大且耗费内存。在这项工作中，我们展示了原始的知识蒸馏方法（及其近来提出的扩展，解耦知识蒸馏）可应用于蒸馏 HuBERT 的任务。与专注于蒸馏内部特征的方法相反，这允许压缩模型的网络架构有更大自由。因此我们提议将 HuBERT 的 Transformer 层蒸馏为一个基于 LSTM 的蒸馏模型，其将参数数量甚至减少到 DistilHuBERT 以下，同时在自动语音识别中展现出改进的性能。
引用
@article{arxiv.2309.09920,
title = {Distilling HuBERT with LSTMs via Decoupled Knowledge Distillation},
author = {Danilo de Oliveira and Timo Gerkmann},
journal= {arXiv preprint arXiv:2309.09920},
year = {2023}
}
备注
Submitted to ICASSP 2024