基于提示工程与 Transformer 的问题生成与评估
计算与语言
2023-10-31 v1 人工智能
摘要
问题生成在教育情境中有诸多应用。问题生成可帮助学生复习内容与自我测试。此外，问题生成模型能通过减轻创建测评与其他练习材料的负担来辅助教师。本文旨在寻找通过 Transformer 模型与提示工程从文本数据生成问题的最佳方法。在本研究中，我们在 SQuAD 问答数据集上微调了一个预训练的 distilBERT 模型以生成问题。除训练 Transformer 模型外，还应用提示工程利用 LLaMA 模型有效生成问题。将生成的问题与 SQuAD 数据集中的基线问题进行比较，以评估四种不同提示的有效性。所有四种提示平均相似度均超过 60%。在提示生成的问题中，30% 获得了大于 70% 的高相似度分数。
引用
@article{arxiv.2310.18867,
title = {Prompt-Engineering and Transformer-based Question Generation and Evaluation},
author = {Rubaba Amyeen},
journal= {arXiv preprint arXiv:2310.18867},
year = {2023}
}