Whisper能理解瑞士德语吗？自动、定性和人工评估

Whisper是一种最先进的自动语音识别（ASR）模型（Radford等人，2022）。尽管瑞士德语方言据称不在Whisper的训练数据中，但初步实验表明Whisper可以相当好地转录瑞士德语，输出为到标准德语的语音翻译。为了更深入地了解Whisper在瑞士德语上的表现，我们使用自动、定性和人工评估对其进行了系统评估。我们在三个现有测试集上测试其性能：SwissDial（Dogan-Schönberger等人，2021）、STT4SG-350（Plüss等人，2023）和Swiss Parliaments Corpus（Plüss等人，2021）。此外，我们基于简短的模拟临床访谈为本工作创建了一个新的测试集。对于自动评估，我们使用了词错误率（WER）和BLEU。在定性分析中，我们讨论了Whisper的优势和劣势，并分析了一些输出示例。对于人工评估，我们进行了一项有28名参与者参与的调查，要求他们评估Whisper的性能。我们所有的评估都表明，只要需要标准德语输出，Whisper就是瑞士德语的一个可行ASR系统。