通过相关性度量实现自监督语音模型的噪声鲁棒蒸馏
声音
2023-12-20 v1 音频与语音处理
摘要
与大型语音基础模型相比，小型蒸馏模型表现出下降的噪声鲁棒性。在预训练期间通过在输入端引入噪声，可以提高学生模型的鲁棒性。尽管如此，使用标准蒸馏损失仍然会产生性能下降的学生模型。因此，本文提出通过基于相关性度量的蒸馏来提高学生模型的鲁棒性。通过最大化教师模型与学生模型表示之间的互相关矩阵至单位矩阵来学习教师模型的行为。通过最小化学生模型的自相关性来增强噪声鲁棒性。所提出的方法与教师模型无关，并始终优于先前的方法。本工作还提出了一种启发式方法，用于自动权衡这两个相关性项的重要性。实验表明，在 SUPERB Challenge 的 Intent Classification、Keyword Spotting 和 Automatic Speech Recognition 任务上，该方法在干净和噪声泛化方面均取得持续更好的表现。
引用
@article{arxiv.2312.12153,
title = {Noise robust distillation of self-supervised speech models via correlation metrics},
author = {Fabian Ritter-Gutierrez and Kuan-Po Huang and Dianwen Ng and Jeremy H. M. Wong and Hung-yi Lee and Eng Siong Chng and Nancy F. Chen},
journal= {arXiv preprint arXiv:2312.12153},
year = {2023}
}
备注
6 pages