中文

探索提示驱动大型语言模型在教育与评估应用中的能力

计算与语言 2024-05-21 v1

摘要

在生成式人工智能时代,大型语言模型(LLM)的融合为现代教育领域的创新提供了前所未有的机遇。我们踏上了探索提示驱动 LLM 在教育与评估应用中的潜力的旅程,以发现其潜在价值。通过一系列精心设计的研究问题,我们探讨了基于提示的技术在生成中学层次教科书中的开放式问题方面的有效性,在评估其在生成大学层次技术教科书中开放式问题的效率,以及探讨了采用受链律启发的多阶段提示方法在语言无关的多选题(MCQ)生成中的可行性。此外,我们通过在资源匮乏的印度语言班巴克语中的案例研究,评估了提示驱动 LLM 进行语言学习的能力,以解释班巴克语语法错误。我们还评估了提示驱动 LLM 评估人力资源(HR)口头面试记录的潜力。通过将 LLM 的能力与人类专家在各种教育任务和领域中的能力进行对比,旨在为 LLM 在重塑教育实践方面的潜力与局限性提供见解。

关键词

引用

@article{arxiv.2405.11579,
  title  = {Exploring the Capabilities of Prompted Large Language Models in Educational and Assessment Applications},
  author = {Subhankar Maity and Aniket Deroy and Sudeshna Sarkar},
  journal= {arXiv preprint arXiv:2405.11579},
  year   = {2024}
}

备注

Accepted at EDM 2024