PrOnto：面向 859 种语言的语言模型评测

评测数据集是衡量预训练语言模型质量的关键资源。然而，由于数据集标注成本高昂，除英语外的大多数语言缺乏此类资源，难以评估语言模型的质量。在本工作中，我们提出一种新评测数据集构建方法，使任何拥有《新约》译本的语言都能获得一套适用于预训练语言模型评测的评测数据集。该方法关键地将经文与英语 OntoNotes 的《新约》部分对齐，再将标注从英语投影到目标语言，无需人工标注。我们将该方法应用于 859 种语言的 1051 个《新约》译本并公开提供。此外，我们开展实验证明该方法在创建可评估语言模型质量的评测任务上有效。