ParsBERT：基于 Transformer 的波斯语语言理解模型

预训练语言模型的兴起通过使我们能够构建强大的语言模型，开启了自然语言处理（NLP）领域的新纪元。在这些模型中，诸如 BERT 等基于 Transformer 的模型因其最先进的性能而日益流行。然而，这些模型通常聚焦于英语，使其他语言只能依赖资源有限的多语言模型。本文提出一种面向波斯语的单语 BERT（ParsBERT），其相对于其他架构与多语言模型展现出最先进的性能。此外，由于波斯语 NLP 任务可用数据极为有限，我们构建了用于不同 NLP 任务及模型预训练的大规模数据集。ParsBERT 在所有数据集（包括已有数据集与所构建数据集）上均取得更高分数，并在情感分析、文本分类与命名实体识别任务中超越多语言 BERT 及其他已有工作，从而提升了最先进性能。