MineObserver 2.0:一个用于评估 Minecraft 图像自然语言描述的深度学习与游戏内框架
人工智能
2023-12-20 v1
摘要
MineObserver 2.0 是一个AI框架,它使用计算机视觉和自然语言处理来评估学习者生成的、包含一些科学相关内容的Minecraft图像描述的准确性。该系统自动评估参与者在Minecraft中进行的科学学习活动中用自然语言写下的观察的准确性。我们展示了系统的实时运行,并描述了一个教师支持仪表板以展示观察结果,这两者都推进了我们先前的工作。我们展示了一项研究的结果,表明MineObserver 2.0在系统生成描述的感知准确性以及系统反馈的有用性方面均优于其前身。在未来的工作中,我们打算改进系统生成的描述,赋予教师更多控制权,并升级系统以执行持续学习,从而更有效、更快速地响应学习者做出的新观察。
引用
@article{arxiv.2312.11761,
title = {MineObserver 2.0: A Deep Learning & In-Game Framework for Assessing Natural Language Descriptions of Minecraft Imagery},
author = {Jay Mahajan and Samuel Hum and Jack Henhapl and Diya Yunus and Matthew Gadbury and Emi Brown and Jeff Ginger and H. Chad Lane},
journal= {arXiv preprint arXiv:2312.11761},
year = {2023}
}