EURO: ESPnet无监督ASR开源工具包
计算与语言
2023-05-23 v3 声音
音频与语音处理
摘要
本文介绍了ESPnet无监督ASR开源工具包(EURO),一个用于无监督自动语音识别(UASR)的端到端开源工具包。EURO采用了由Wav2vec-U引入、最初在FAIRSEQ上实现的最先进UASR学习方法,该方法利用自监督语音表示与对抗训练。除wav2vec2外,EURO通过集成S3PRL与k2扩展了功能并提升了UASR任务的可复现性,从而提供了来自27个自监督模型的灵活前端以及各种基于图的解码策略。EURO在ESPnet中实现,并遵循其统一流程以提供具备完整配置的UASR方案。这提升了流程效率,并使EURO能轻松应用于ESPnet中的现有数据集。基于三个主流自监督模型的广泛实验证明了该工具包的有效性,并在TIMIT与LibriSpeech数据集上取得了最先进的UASR性能。EURO将于https://github.com/espnet/espnet公开,旨在通过开源活动推动这一基于UASR的令人振奋的新兴研究领域。
引用
@article{arxiv.2211.17196,
title = {EURO: ESPnet Unsupervised ASR Open-source Toolkit},
author = {Dongji Gao and Jiatong Shi and Shun-Po Chuang and Leibny Paola Garcia and Hung-yi Lee and Shinji Watanabe and Sanjeev Khudanpur},
journal= {arXiv preprint arXiv:2211.17196},
year = {2023}
}