手到手：基于 LLM 的 EMS 助理用于操作技能学习
人机交互
2025-08-11 v1 人工智能
摘要
操作技能学习本质上是依赖手工练习和运动感觉反馈的体内活动，迄今为止尚未有效地在大语言模型（LLM）支持的训练中实现。当前的 LLM 训练助理主要生成定制的文本性反馈，忽略了关键的运动感觉模式。这一差距源于 LLM 的文本性和不确定性， compounded by 对 LLM 驱动体体控制的用户接受度问题。为弥合这一差距并实现人类-LLM 协作行动的潜力，本文探索了 LLM 驱动的运动感觉协助的用户体验。具体而言，我们引入了“对齐-分析-调整”策略，开发了FlightAxis工具，将 LLM 与电气肌电刺激（EMS）集成，用于飞行技能学习，这一代表性的操作技能领域。FlightAxis 从手册中学习飞行技能，在模拟飞行任务中指导手臂运动。我们的结果表明，用户对 LLM 中介体体控制接受度很高，任务完成时间显著缩短。关键的是，培训者报告称，这种运动感觉协助增强了他们对操作缺陷的意识，并促进了培训过程中参与度的增加，而非减轻感知负荷。这一工作展示了运动感觉 LLM 培训在操作技能获取中的潜力。
关键词
引用
@article{arxiv.2508.06000,
title = {Hand by Hand: LLM Driving EMS Assistant for Operational Skill Learning},
author = {Wei Xiang and Ziyue Lei and Haoyuan Che and Fangyuan Ye and Xueting Wu and Lingyun Sun},
journal= {arXiv preprint arXiv:2508.06000},
year = {2025}
}
备注
Accepted by IJCAI 2025