面向端到端生成系统的字幕分割评估

字幕以短文本片段形式出现在屏幕上，其分割基于形式约束（长度）与句法/语义标准。字幕分割可通过序列分割指标对照人工参考进行评估。然而，当系统生成与参考不同的输出时（例如端到端字幕系统），标准分割指标无法应用。本文中，我们研究如何不论文本内容如何都进行基于参考的分割精度评估。我们首先对现有字幕分割评估指标进行系统分析。随后引入 $Sigma$，一种由分割边界上BLEU近似上界导出的新字幕分割分数（Subtitle Segmentation Score），其使我们能分离优质分割与文本质量的影响。为比较 $Sigma$ 与现有指标，我们进一步提出一种从非完美假设到真实参考的边界投影方法。结果表明所有指标均能奖励高质量输出，但对于相似输出，系统排序取决于各指标对错误类型的敏感性。我们的详尽分析表明 $Sigma$ 是一个有前景的分割候选指标，但其相对于其他分割指标的可靠性仍有待通过与人判的相关性来验证。