Whisper-AT：抗噪自动语音识别器同时也是强大的通用音频事件标注器
声音
2023-10-10 v1 音频与语音处理
摘要
在本文中，我们关注Whisper，一个近期使用在多样条件下录制的68万小时标注语音语料库训练的自动语音识别模型。我们首先展示一个有趣发现：尽管Whisper对真实世界背景声（如音乐）非常鲁棒，其音频表征实际上并非噪声不变，而是与非语音声音高度相关，表明Whisper是在以噪声类型为条件来识别语音。基于该发现，我们通过冻结Whisper的骨干网络并在其上训练一个轻量级音频标注模型，构建了统一的音频标注与语音识别模型Whisper-AT。以低于1%的额外计算代价，Whisper-AT可在单次前向传播中同时识别音频事件与语音文本。
引用
@article{arxiv.2307.03183,
title = {Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers},
author = {Yuan Gong and Sameer Khurana and Leonid Karlinsky and James Glass},
journal= {arXiv preprint arXiv:2307.03183},
year = {2023}
}
备注
Accepted at Interspeech 2023. Code at https://github.com/yuangongnd/whisper-at