训练擎天柱医生：通过微调 OpenAI 的 gpt2 Transformer 模型生成医学认证试题
计算与语言
2019-09-02 v3 人工智能
摘要
本文描述了将基于 Transformer 的语言模型应用于自动试题生成（AIG）的新结果，这是认证测试以及教育测量和心理测试领域持续关注的一个方向。我们使用 PubMed 文章的公共领域文本挖掘数据集，对 OpenAI 预训练的 3.45 亿参数 gpt2 语言模型进行了重新训练，随后用于生成试题题干（病例摘要）以及多选题的干扰项建议。本案例研究显示出前景，并生成了可供人类命题人员用作编写输入的草稿文本。未来使用更新的 Transformer 模型（如 Grover、TransformerXL）并利用现有题库进行的实验，有望进一步改善结果并促进评估材料的开发。
引用
@article{arxiv.1908.08594,
title = {Training Optimus Prime, M.D.: Generating Medical Certification Items by Fine-Tuning OpenAI's gpt2 Transformer Model},
author = {Matthias von Davier},
journal= {arXiv preprint arXiv:1908.08594},
year = {2019}
}
备注
18 pages, 1 figure