Mi-Go：以 YouTube 为数据源评估 OpenAI Whisper 等语音识别模型的测试框架
声音
2023-09-04 v1 机器学习
软件工程
音频与语音处理
摘要
本文介绍 Mi-Go，一种新颖的测试框架，旨在评估通用语音识别机器学习模型在多样真实场景下的性能与适应性。该框架利用 YouTube 这一丰富且持续更新的数据源，涵盖多种语言、口音、方言、说话风格与音频质量水平。为展示框架有效性，我们以 OpenAI 开发的 Whisper 模型作为测试对象。测试共使用 124 个 YouTube 视频对所有 Whisper 模型版本进行测试。结果凸显了 YouTube 作为语音识别模型宝贵测试平台的价值，保障了模型对多样语言与声学条件的鲁棒性、准确性与适应性。此外，通过将机器生成转录文本与人工字幕对比，Mi-Go 框架可帮助 pinpoint YouTube 字幕的潜在误用，如搜索引擎优化（SEO）。
引用
@article{arxiv.2309.00329,
title = {Mi-Go: Test Framework which uses YouTube as Data Source for Evaluating Speech Recognition Models like OpenAI's Whisper},
author = {Tomasz Wojnar and Jaroslaw Hryszko and Adam Roman},
journal= {arXiv preprint arXiv:2309.00329},
year = {2023}
}
备注
25 pages, 9 tables, 3 figures