K-12BERT：面向 K-12 教育的 BERT

Vasu Goel; Dhruv Sahnan; Venktesh V; Gaurav Sharma; Deep Dwivedi; Mukesh Mohania

K-12BERT：面向 K-12 教育的 BERT

计算与语言 2022-05-26 v1 机器学习

作者: Vasu Goel , Dhruv Sahnan , Venktesh V , Gaurav Sharma , Deep Dwivedi , Mukesh Mohania

摘要

在线教育平台由各类 NLP 流水线驱动，这些流水线利用如 BERT 等模型来辅助内容策划。自 BERT 等预训练语言模型问世以来，也有许多工作致力于将这些预训练模型适配到特定领域。然而，据我们所知，尚未有专门针对教育领域（尤其是跨学科的 K-12）适配的模型。在本工作中，我们提出在一个由我们从多种来源为 K-12 教育策划的跨学科数据语料上训练语言模型。我们还在层级分类标签等下游任务上评估了我们的模型 K12-BERT。

关键词

BERT K-12 教育领域适配预训练语言模型教育 NLP 层级分类标签

引用

@article{arxiv.2205.12335,
  title  = {K-12BERT: BERT for K-12 education},
  author = {Vasu Goel and Dhruv Sahnan and Venktesh V and Gaurav Sharma and Deep Dwivedi and Mukesh Mohania},
  journal= {arXiv preprint arXiv:2205.12335},
  year   = {2022}
}

备注

4 pages

K-12BERT：面向 K-12 教育的 BERT

摘要

关键词

引用

备注

相关论文