利用新闻文章结构自动生成蕴含数据集语料

近年来，Transformer 代表了自然语言处理（NLP）领域的最先进水平，即使在低资源语言的任务中也证明有效。尽管可以制作这些语言的预训练 transformer，但由于缺乏硬性基准数据集以及制作它们的困难与成本，衡量其真实性能与能力颇具挑战。在本文中，我们提出三项贡献：首先，我们提出一种利用已发布新闻文章为低资源语言自动生成自然语言推理（NLI）基准数据集的方法。借此，我们创建并发布了 NewsPH-NLI，这是低资源菲律宾语中的首个句子蕴含基准数据集。其次，我们基于 ELECTRA 技术生成新的预训练 transformer，以进一步缓解菲律宾语中的资源稀缺问题，并在我们的数据集上针对其他常用迁移学习技术对它们进行基准测试。最后，我们通过退化测试对迁移学习技术进行分析，以揭示其在低数据域中运行时的真实性能。