基于任务自适应预训练 BERT 的数学知识点分类
计算与语言
2021-05-25 v1 人工智能
摘要
标注了恰当知识组件（KCs）的教育内容对教师和内容包括组织者尤为有用。然而，人工标注教育内容费时费力且易出错。为应对这一挑战，先前研究提出了基于机器学习的自动标注教育内容方案，但成效有限。本工作中，我们显著改进了先前研究：（1）扩展输入类型以包含 KC 描述、教学视频标题和题目描述（即三类预测任务）；（2）将预测粒度从198个 KC 标签翻倍至385个（即更实用但困难得多的多项分类问题）；（3）使用任务自适应预训练 BERT（Task-adaptive Pre-trained BERT）将预测准确率提升0.5—2.3%，优于六个基线；（4）提出一种简单评估度量，借此可恢复56—73%的误预测 KC 标签。实验中的所有代码与数据集见：https://github.com/tbs17/TAPT-BERT
引用
@article{arxiv.2105.11343,
title = {Classifying Math KCs via Task-Adaptive Pre-Trained BERT},
author = {Jia Tracy Shen and Michiharu Yamashita and Ethan Prihar and Neil Heffernan and Xintao Wu and Sean McGrew and Dongwon Lee},
journal= {arXiv preprint arXiv:2105.11343},
year = {2021}
}