BlasBench：一个开放的爱尔兰语语音识别基准
计算与语言
2026-04-20 v2 声音
摘要
现有的多语言基准将爱尔兰语包含在数十种语言中，但未应用爱尔兰语感知的文本规范化，使得可靠且可重复的ASR比较变得不可能。我们引入了BlasBench，一个开放的评估工具，它提供了一个独立的爱尔兰语感知规范化器，保留长音符、弱化音和鼻音化；一个可重复的打分工具，以及所有评估轮次的每话语预测结果。我们通过在Common Voice ga-IE和FLEURS ga-IE上对四个架构系列的12个系统进行基准测试来试点该方法。所有Whisper变体由于插入驱动的幻觉导致WER超过100%。Microsoft Azure在Common Voice上达到22.2%的WER，在FLEURS上达到57.5%；最好的开放模型Omnilingual ASR 7B分别达到30.65%和39.09%。在Common Voice上微调的模型迁移到FLEURS时性能下降33-43个百分点，而大规模多语言模型仅下降7-10个百分点——这是单数据集评估遗漏的泛化差距。
引用
@article{arxiv.2604.10736,
title = {BlasBench: An Open Benchmark for Irish Speech Recognition},
author = {Jyoutir Raj and John Conway},
journal= {arXiv preprint arXiv:2604.10736},
year = {2026}
}
备注
9 pages, 4 tables, 3 appendices. Code and data: https://github.com/jyoutir/blasbench