SeMaScore：一种用于自动语音识别任务的新型评估指标
音频与语音处理
2024-11-15 v2 机器学习
声音
摘要
在本研究中，我们提出了 SeMaScore，该指标通过一种分段映射与评分算法生成，用作自动语音识别任务的评估指标。SeMaScore 同时利用了错误率和一种更稳健的相似度分数。我们证明，我们算法生成的分数优于当前最先进的 BERTScore。实验结果表明，SeMaScore 与专家人工评估、信噪比水平及其他自然语言指标具有良好的一致性。我们的指标计算速度比 BERTScore 快 41 倍。总体而言，我们证明了 SeMaScore 是一种更可靠的评估指标，尤其是在涉及非典型语音模式的真实场景中。
引用
@article{arxiv.2401.07506,
title = {SeMaScore : a new evaluation metric for automatic speech recognition tasks},
author = {Zitha Sasindran and Harsha Yelchuri and T. V. Prabhakar},
journal= {arXiv preprint arXiv:2401.07506},
year = {2024}
}
备注
Accepted at Interspeech 2024