普通的BERT模型是不稳定的语言教师：低资源场景下潜在自举的有效性
计算与语言
2023-10-31 v1 机器学习
摘要
本文探讨了使用潜在自举（一种替代性的自监督技术）来预训练语言模型。与使用离散子词上的自监督的典型做法不同，潜在自举利用上下文嵌入以获得更丰富的监督信号。我们进行实验以评估该方法在从有限资源中获取语言知识方面的有效性。具体而言，我们的实验基于BabyLM共享任务，该任务包括在两个小型精选语料库上的预训练以及四个语言基准上的评估。
引用
@article{arxiv.2310.19420,
title = {Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings},
author = {David Samuel},
journal= {arXiv preprint arXiv:2310.19420},
year = {2023}
}
备注
submission to the BabyLM shared at CoNLL (EMNLP)