一种用于译者可靠性评估的贝叶斯方法

翻译质量评估（TQA）是由人工译者进行的过程，被广泛用于估计（日益使用的）机器翻译的性能，以及寻找翻译提供方与其客户之间的协议。尽管翻译学者意识到拥有可靠方式进行 TQA 过程的重要性，但似乎以定量方法解决可靠性问题的文献有限。在这项工作中，我们将 TQA 视为来自复杂系统物理视角的复杂过程，并从贝叶斯范式探讨可靠性问题。使用完全由专业翻译服务提供商 Translated SRL 生成的翻译质量评估数据集（以错误标注形式），我们比较了两个参数化 TQA 过程中以下特征的贝叶斯模型：翻译难度、参与生成翻译的译者特征，以及评估其质量——审校者——的特征。我们在无监督设定下验证模型，并表明即使每篇翻译仅有一个审校也能获得关于译者的有意义洞察；随后，我们提取诸如译者技能和审校者严格度，以及它们在各自角色中的一致性等信息。由此我们表明，即便在专家译者情况下，审校者的可靠性也不能想当然：译者的专长在审校另一译者生成的翻译时会引起认知偏差。然而，最专业的译者无论在翻译还是评估翻译质量中都表现出最高水平的一致性。