面向自动语音识别的动态数据剪枝
计算与语言
2024-06-27 v1 声音
音频与语音处理
摘要
自动语音识别（ASR）的最近成功在很大程度上归因于不断增长的训练数据量。然而，这一趋势导致模型训练成本高昂，并对计算资源提出了巨大要求。虽然数据剪枝技术被提出通过识别相关数据子集来缓解此问题，但在ASR领域的应用仍鲜有探索，而现有工作往往需要显著的计算开销才能获得有意义的结果。为填补这一空白，本文首次介绍面向ASR的动态数据剪枝研究，发现通过动态选择70%的数据即可达到完整数据的性能水平。此外，我们提出的动态数据剪枝用于ASR（Dynamic Data Pruning for ASR，DDP-ASR）提供了专为语音相关数据集量身定制的多层次剪枝粒度，超越了传统仅剪枝整个时间序列的做法。我们的大量实验表明，DDP-ASR可在几乎不损失性能的情况下节省最高可达1.6倍的训练时间。
引用
@article{arxiv.2406.18373,
title = {Dynamic Data Pruning for Automatic Speech Recognition},
author = {Qiao Xiao and Pingchuan Ma and Adriana Fernandez-Lopez and Boqian Wu and Lu Yin and Stavros Petridis and Mykola Pechenizkiy and Maja Pantic and Decebal Constantin Mocanu and Shiwei Liu},
journal= {arXiv preprint arXiv:2406.18373},
year = {2024}
}
备注
Accepted to Interspeech 2024