包容性 STEAM 教育:面向视力受损学生的编码与机器人教学框架
人机交互
2025-03-24 v1 计算机视觉与模式识别
机器人学
摘要
STEAM 教育将科学、技术、工程、艺术与数学融合,旨在培养创造力与解决问题能力。但视力受损(VI)学生在编程与机器人学习中面临诸多挑战,尤其在跟踪机器人运动与构建空间意识方面。本文提出一种框架,利用预构架机器人与算法(如迷宫求解技术)构建可访问的学习环境。该系统采用 Contrastive Language-Image Pre-training(CLIP)处理全局相机捕获的迷宫布局,将视觉数据转化为文本描述,生成空间音频提示,供 Audio Virtual Reality(AVR)系统使用。学生发出语音指令经 CLIP 优化,机器人装载立体相机通过 Simultaneous Localization and Mapping(SLAM)提供实时数据,实现持续反馈。通过整合这些技术,该框架使 VI 学生能够开发编程技能,参与复杂问题解决任务。除迷宫求解应用外,该方法亦展示了计算机视觉在特殊教育中的广泛潜力,推动 STEAM 学科可访问性与学习体验的提升。
引用
@article{arxiv.2503.16482,
title = {Inclusive STEAM Education: A Framework for Teaching Cod-2 ing and Robotics to Students with Visually Impairment Using 3 Advanced Computer Vision},
author = {Mahmoud Hamash and Md Raqib Khan and Peter Tiernan},
journal= {arXiv preprint arXiv:2503.16482},
year = {2025}
}
备注
14 pages, 2 figures