SimPal：面向理解 K-12 物理教师教学目标的元对话框架
物理教育
2024-07-10 v1
摘要
模拟被广泛用于在小学教授科学。这些模拟通常配备一个对话式人工智能 (AI) 代理，为使用模拟进行实验的学生提供实时支架式支持。AI 代理高度针对每个模拟进行定制，具有一组预定义的教学目标 (IG)，这使得教师难以调整 IG，因为代理可能不再与修订后的 IG 保持一致。此外，出于同样的原因，教师不愿采用新的第三方模拟。在本研究中，我们介绍了 SimPal，一个基于大型语言模型 (LLM) 的元对话代理，以解决预训练对话式 AI 代理与教师不断发展的教学法之间的这种错位问题。通过与 SimPal 的自然对话，教师首先解释他们期望的 IG，SimPal 据此识别一组相关的物理变量及其关系，以创建期望 IG 的符号表示。然后可以利用这些符号表示为原始 AI 代理设计提示，以更好地与期望的 IG 对齐。我们使用两个 LLM，ChatGPT-3.5 和 PaLM 2，在来自 PhET 和 Golabz 的 63 个物理模拟上对 SimPal 进行了实证评估。此外，我们通过利用 TELeR 分类法为 IG 识别相关的物理变量，考察了不同提示技术对 LLM 性能的影响。我们的研究结果表明，当提供定义明确的提示时，SimPal 能够以高精度完成此任务。
引用
@article{arxiv.2407.06241,
title = {SimPal: Towards a Meta-Conversational Framework to Understand Teacher's Instructional Goals for K-12 Physics},
author = {Effat Farhana and Souvika Sarkar and Ralph Knipper and Indrani Dey and Hari Narayanan and Sadhana Puntambekar and Shubhra Kanti Karmaker},
journal= {arXiv preprint arXiv:2407.06241},
year = {2024}
}