高效训练记忆较少、表现更好的 ASR 模型：按核心分片
密码学与安全
2024-06-07 v2 计算与语言
声音
音频与语音处理
摘要
梯度裁剪在大规模自动语音识别（ASR）模型训练中发挥着关键作用。通常用于 minibatch 梯度以防止梯度爆炸，并用于单个样本梯度以缓解意外记忆。本工作系统性地研究了特定梯度裁剪粒度——即按核心裁剪（PCC）——在训练广泛范围的 ASR 模型中的影响。我们经验性地证明 PCC 能有效缓解 ASR 模型中的意外记忆。意外地，我们发现 PCC 对 ASR 性能指标产生积极影响，导致收敛速度提高且词错误率降低。为避免调整 PCC 引入的额外超参数，我们进一步提出一种新型变体——自适应按核心裁剪（APCC），用于简化优化。我们的发现凸显了 PCC 作为稳健、面向隐私的 ASR 模型训练策略的多重好处。
引用
@article{arxiv.2406.02004,
title = {Efficiently Train ASR Models that Memorize Less and Perform Better with Per-core Clipping},
author = {Lun Wang and Om Thakkar and Zhong Meng and Nicole Rafidi and Rohit Prabhavalkar and Arun Narayanan},
journal= {arXiv preprint arXiv:2406.02004},
year = {2024}
}
备注
Accepted to Interspeech'24