Whisper-Flamingo：将视觉特征集成到 Whisper 以实现音视频语音识别与翻译
音频与语音处理
2024-11-21 v3 计算机视觉与模式识别
声音
摘要
音视频语音识别（AVSR）使用基于嘴部的视频以提高噪声环境下的性能。由于视频比音频更难获取，AVSR 模型的视频训练数据通常仅为几千小时。相比之下，语音模型如 Whisper 训练了数十万小时的数据，因此学习了更好的 speech-to-text 解码器。巨大的训练数据差异激励我们将 Whisper 适用于处理视频输入。灵感来自 Flamingo 注入视觉特征以注入语言模型，我们提出了 Whisper-Flamingo，通过 gated cross attention 将视觉特征集成到 Whisper 语音识别和翻译模型。我们的方法在 LRS3 上实现了 SOTA ASR WER（0.68%）和 AVSR WER（0.76%），在 LRS2 上实现了 SOTA ASR WER（1.3%）和 AVSR WER（1.4%）。音视频 Whisper-Flamingo 在英语语音识别和 En-X 翻译中，对于 6 种语言在噪声条件下均优于音频-only Whisper。此外，Whisper-Flamingo 功能多样able，能够使用一套参数完成所有这些任务，而先前的方法是在每个语言上单独训练的。
引用
@article{arxiv.2406.10082,
title = {Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation},
author = {Andrew Rouditchenko and Yuan Gong and Samuel Thomas and Leonid Karlinsky and Hilde Kuehne and Rogerio Feris and James Glass},
journal= {arXiv preprint arXiv:2406.10082},
year = {2024}
}
备注
Interspeech 2024. V3: Added results on LRS2. Code at https://github.com/roudimit/whisper-flamingo