基于预训练语言模型集成的短答案评分
计算与语言
2022-02-24 v1 机器学习
摘要
我们利用 Kaggle 自动短答案评分数据集，研究了基于预训练 transformer 的语言模型集成在短答案问题上的有效性。我们对一系列流行的轻量、基础及大型预训练 transformer 语言模型进行微调，并在该数据集上训练了一个基于特征的模型，旨在测试这些模型的集成。我们在训练中使用了早停机制和超参数优化。我们观察到总体上较大的模型表现略好，但单独使用仍达不到最先进结果。一旦考虑模型集成，存在若干大型网络组成的集成能够产生最先进结果，然而这些集成规模过大，难以实际部署于生产环境。
引用
@article{arxiv.2202.11558,
title = {Short-answer scoring with ensembles of pretrained language models},
author = {Christopher Ormerod},
journal= {arXiv preprint arXiv:2202.11558},
year = {2022}
}
备注
9 pages