探究以填空测试作为阅读 comprehension 问卷的更廉价替代方案以评估机器翻译的撮要理解效用
计算与语言
2018-09-05 v1
摘要
机器翻译（MT）的一个流行应用是撮要（gisting）：直接消费 MT 以理解外语文本。对 MT 用于撮要的效用评估却出奇地少见。经典方法使用阅读 comprehension 问卷（RCQ），即让被试回答由其母语撰写的、关于已翻译为其母语的外语文本的专业问题。近来，填空测试（GF）——一种 cloze 测试形式——被提出作为 RCQ 的更廉价替代方案。在 GF 中，参考译文中某些词被移除，要求读者利用机器翻译文本作为提示来填补空缺。本文首次报道了对同一外语文本多个 MT 系统译文的 RCQ 与 GF 比较评估，并系统研究了 GF 中空缺密度、空缺选择策略及文档上下文等变量的影响。研究主要发现为：(a) RCQ 与 GF 均明确识别 MT 有用；(b) MT 系统的全局 RCQ 与 GF 排名大多一致；(c) GF 分数在被试间差异极大，致使系统间比较困难；(d) 与围绕文档构建的 RCQ 不同，GF 评估可在句子层面构建。这些发现支持将 GF 作为 RCQ 的更廉价替代方案。
引用
@article{arxiv.1809.00315,
title = {Exploring Gap Filling as a Cheaper Alternative to Reading Comprehension Questionnaires when Evaluating Machine Translation for Gisting},
author = {Mikel L. Forcada and Carolina Scarton and Lucia Specia and Barry Haddow and Alexandra Birch},
journal= {arXiv preprint arXiv:1809.00315},
year = {2018}
}
备注
12 pages, 3 figures, 2 tables, Proceedings of the Third Conference on Machine Translation (WMT18), 2018