SubER：一种用于字幕质量自动评估的指标
计算与语言
2022-05-13 v1
摘要
本文研究自动生成字幕的质量评估问题，该问题不仅包含机器转写或机器翻译语音的质量，还包含换行分割与字幕时序的质量。我们提出 SubER——一种基于带偏移编辑距离的单一新颖指标，可同时考虑上述所有字幕特性。我们将其与现有的转写、翻译及字幕质量评估指标进行比较。在译后编辑场景下细致的人工评估表明，新指标与译后编辑工作量及直接人工评分高度相关，优于仅考虑字幕文本（如 WER 和 BLEU）的基线指标以及已有的融合分割与时序特征的方法。
引用
@article{arxiv.2205.05805,
title = {SubER: A Metric for Automatic Evaluation of Subtitle Quality},
author = {Patrick Wilken and Panayota Georgakopoulou and Evgeny Matusov},
journal= {arXiv preprint arXiv:2205.05805},
year = {2022}
}
备注
IWSLT 2022