MeetEval：一种用于会议转录系统词错误率计算的工具包
计算与语言
2024-01-29 v3 音频与语音处理
摘要
MeetEval 是一个用于评估各类会议转录系统的开源工具包。它为常用的词错误率（WER）计算提供了统一接口，具体包括 cpWER、ORC-WER 与 MIMO-WER 以及其他 WER 定义。我们通过时间约束扩展了 cpWER 计算，以确保仅当时间对齐合理时才将词语识别为正确。这带来了假设串与参考串之间更高质量的匹配，更贴近实际转录质量，且若系统给出较差的时间标注则会受罚。由于词级时间信息常不可得，我们提出了一种由段级时间（如句子）近似精确词级时间的方法，并表明该近似导致的 WER 与基于精确词级标注的匹配结果相近。同时，时间约束带来了匹配算法的加速，其收益超过了处理时间戳所带来的额外开销。
引用
@article{arxiv.2307.11394,
title = {MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems},
author = {Thilo von Neumann and Christoph Boeddeker and Marc Delcroix and Reinhold Haeb-Umbach},
journal= {arXiv preprint arXiv:2307.11394},
year = {2024}
}
备注
Presented at the CHiME7 workshop 2023