ChapGTP：ILLC 培育 BabyLM 的尝试——通过自动任务构造提升数据效率
计算与语言
2023-10-18 v1
摘要
我们介绍了阿姆斯特丹大学 ILLC 在 BabyLM 挑战赛（Warstadt 等人，2023）严格小数据赛道上的提交。我们的最终模型 ChapGTP 是一个掩码语言模型，训练了 200 个 epoch，并借助一种称为自动任务构造的新型数据增广技术。我们详细讨论了该模型在三个评测套件上的表现：BLiMP、(Super)GLUE 与 MSGS。此外，我们给出了一系列最终未纳入模型但可为低资源环境下训练语言模型提供启发的方法。
引用
@article{arxiv.2310.11282,
title = {ChapGTP, ILLC's Attempt at Raising a BabyLM: Improving Data Efficiency by Automatic Task Formation},
author = {Jaap Jumelet and Michael Hanna and Marianne de Heer Kloots and Anna Langedijk and Charlotte Pouw and Oskar van der Wal},
journal= {arXiv preprint arXiv:2310.11282},
year = {2023}
}
备注
Part of the BabyLM challenge at CoNLL