基于自动发现声学单元的端到端关键词搜索预训练
音频与语音处理
2024-07-08 v1 计算与语言
摘要
端到端（E2E）关键词搜索（KWS）日益成为传统关键词搜索的替代或补充方法，后者依赖自动语音识别（ASR）系统的输出。虽然 E2E 方法大大简化了 KWS 流程，但通常不如其基于 ASR 的对手方法表现更好，这类方法可从未标注数据中受益。本文我们提出一种使用声学单元发现（AUD）对 E2E KWS 系统进行预训练的方法，该方法涉及从未标注数据中通过 AUD 获取离散单元，然后学习在语音中定位此类单元序列。我们在不同语言和 AUD 系统上进行实验：我们展示了对此类模型进行微调显著优于从头训练的模型，性能提升通常与用于预训练的 AUD 系统质量呈相关。
引用
@article{arxiv.2407.04652,
title = {Pretraining End-to-End Keyword Search with Automatically Discovered Acoustic Units},
author = {Bolaji Yusuf and Jan "Honza" Černocký and Murat Saraçlar},
journal= {arXiv preprint arXiv:2407.04652},
year = {2024}
}
备注
Interspeech 2024. KWS code at: https://github.com/bolajiy/golden-retriever; AUD code at https://github.com/beer-asr/beer/tree/master/recipes/hshmm