PhysicsAssistant：一种由 LLM 驱动的用于物理实验室探究的交互式学习机器人
机器人学
2024-06-05 v2
摘要
教育机器人系统可以利用大语言模型（LLM）的自然语言理解能力来提供辅助并促进学习。本文提出了一种多模态交互机器人（PhysicsAssistant），其构建于 YOLOv8 目标检测、摄像头、语音识别以及使用 LLM 的聊天机器人之上，旨在为学生的物理实验提供辅助。我们对十名八年级学生进行了用户研究，以实证评估 PhysicsAssistant 与人类专家相比的性能。专家根据 Bloom 分类法对助手针对学生查询的回答进行 0-4 分的评分，以提供教育支持。我们比较了 PhysicsAssistant（YOLOv8+GPT-3.5-turbo）与 GPT-4 的性能，发现人类专家对两个系统在事实理解方面的评分相同。然而，GPT-4 在概念性和程序性知识方面的评分（分别为 3 和 3.2 对 2.2 和 2.6）显著高于 PhysicsAssistant（p < 0.05）。但是，GPT-4 的响应时间显著长于 PhysicsAssistant（3.54 秒对 1.64 秒，p < 0.05）。因此，尽管 PhysicsAssistant 的响应质量相对低于 GPT-4，但它已展现出作为实时实验室助手提供及时响应的潜力，并能够减轻教师协助重复性任务的劳动。据我们所知，这是首次尝试为 K-12 科学（物理）教育构建此类交互式多模态机器人助手。
引用
@article{arxiv.2403.18721,
title = {PhysicsAssistant: An LLM-Powered Interactive Learning Robot for Physics Lab Investigations},
author = {Ehsan Latif and Ramviyas Parasuraman and Xiaoming Zhai},
journal= {arXiv preprint arXiv:2403.18721},
year = {2024}
}
备注
Accepted to IEEE RO-MAN Special Session