将 Whisper 改造为实时转录系统
计算与语言
2023-09-22 v2
摘要
Whisper 是近期最先进的多语言语音识别与翻译模型之一，然而其并非为实时转录而设计。在本文中，我们在 Whisper 基础上构建了 Whisper-Streaming，一种针对类 Whisper 模型的实时语音转录与翻译实现。Whisper-Streaming 采用具有自适应延迟的局部一致策略以实现流式转录。我们表明，Whisper-Streaming 在未分段长语音转录测试集上实现了高质量与 3.3 秒延迟，并展示了其作为多语言会议实时转录服务中组件的鲁棒性与实际可用性。
引用
@article{arxiv.2307.14743,
title = {Turning Whisper into Real-Time Transcription System},
author = {Dominik Macháček and Raj Dabre and Ondřej Bojar},
journal= {arXiv preprint arXiv:2307.14743},
year = {2023}
}
备注
IJCNLP-AACL 2023 system demonstration