低资源语言机器翻译系统的游戏化评估与招募平台

人工评估者在评估大型语言模型时提供必要的贡献。在低资源语言（LRL）的机器翻译（MT）系统背景下，这一点尤为明显，因为流行的自动评估指标往往基于字符串，因此无法全面反映系统行为的细微差别。当人工评估者具备必要的语言专业知识时，他们将能够测试充分性、流利度和其他重要指标。然而，语言的资源匮乏特性意味着数据集和评估者都供不应求。这带来了以下困境：这些LRL的MT系统开发者如何找到足够的评估者和数据集？本文首先对现有评估程序进行了全面综述，旨在提出一个平台的设计方案，以解决MT系统开发中数据集和评估者的资源缺口问题。结果是一个面向MT系统开发者的招募与游戏化评估平台的设计方案。本文还讨论了评估该平台所面临的挑战，以及其在更广泛的自然语言处理（NLP）研究中的可能应用。