一种用于评估同声传译的自动质量指标
计算与语言
2025-01-13 v3
摘要
同声传译（SI）是将一种语言实时翻译成另一种语言，在原始语音结束前即开始翻译。其评估需要同时考虑延迟和质量。这种权衡具有挑战性，特别是对于英语和日语等词序差异较大的语言对。为了处理这种词序差异，口译员尽可能保持源语言的词序以跟上原始语言，从而在保持质量的同时最小化延迟；而在翻译中，为了保持目标语言的流畅性会发生重排。这意味着基于真实的同声传译场景，与源语言同步的输出是理想的，这也是计算同声传译和同声机器翻译（SiMT）进一步发展的关键。在本工作中，我们提出了一种关注词序同步的 SI 和 SiMT 自动评估指标。我们的评估指标基于秩相关系数，并利用了跨语言预训练语言模型。我们在 NAIST-SIC-Aligned 和 JNPC 上的实验结果表明，我们的指标在衡量源语言与目标语言之间的词序同步方面是有效的。
引用
@article{arxiv.2407.06650,
title = {An Automatic Quality Metric for Evaluating Simultaneous Interpretation},
author = {Mana Makinae and Katsuhito Sudoh and Masaru Yamada and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2407.06650},
year = {2025}
}