瑞士德语语音转文本系统评估
计算与语言
2022-11-15 v2 人工智能
摘要
我们针对瑞士德语提出了对四种商用语音转文本 (STT) 系统的深入评估。这些系统在本文中匿名化并称为系统 a-d。我们将这四个系统与我们的 STT 模型（此后称为 FHNW）进行比较，并提供有关我们如何训练模型的细节。为评估这些模型，我们使用来自不同领域的两个 STT 数据集：瑞士议会语料库 (SPC) 测试集和一个在新闻领域、在七个方言区均匀分布的私有数据集。我们提供详细的错误分析以检测三个系统的优势与弱点。该分析受限于两个测试集的特征。我们的模型在两个数据集上均获得了最高的双语评估替补 (BLEU)。在 SPC 测试集上，我们获得 0.607 的 BLEU 分数，而最佳商用系统达到 0.509 的 BLEU 分数。在我们的私有测试集上，我们获得 0.722 的 BLEU 分数，最佳商用系统为 0.568。
引用
@article{arxiv.2207.00412,
title = {Swiss German Speech to Text system evaluation},
author = {Yanick Schraner and Christian Scheller and Michel Plüss and Manfred Vogel},
journal= {arXiv preprint arXiv:2207.00412},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2205.09501