学习多模态 AI 算法将有限用户输入放大至高维控制空间
机器人学
2025-05-19 v1 人机交互
机器学习
系统与控制
系统与控制
摘要
当前侵入性辅助技术旨在从严重瘫痪的患者身上推断高维运动控制信号，但面临公众接受度、寿命有限以及商业化障碍等挑战。另一方面，非侵入性替代方案常依赖易受噪声影响的信号，需长期用户训练，且难以为灵巧任务提供稳健的高维控制。为此，本研究引入一种新型以人为为中心的多模态 AI 方法作为失去的运动功能的智能补偿机制，可能使严重瘫痪患者能够使用有限且非侵入性输入控制高维辅助设备，如灵巧机器人手臂。与当前最先进 (SoTA) 的非侵入方法不同，我们的情境感知、多模态共享自主框架集成深度强化学习算法，将有限的低维用户输入与实时环境感知融合，实现对复杂灵巧操控任务（如抓取与放置）的人类意图的自适应、动态且智能的解释。我们在 50,000 期计算机仿真中使用合成用户训练的 ARAS (Adaptive Reinforcement learning for Amplification of limited inputs in Shared autonomy) 系统，实现了该闭环人机环节范式的首次成功部署，超越了 SoTA 共享自主算法。跟随零样本仿真到现实的迁移，ARAS 在 23 名受试者身上进行评估，显示出对动态意图检测和平滑、稳定的 3D 轨迹控制方面具有高准确性。ARAS 用户研究实现了 92.88% 的高任务成功率，完成时间与 SoTA 侵入性辅助技术相当。
引用
@article{arxiv.2505.11366,
title = {Learning Multimodal AI Algorithms for Amplifying Limited User Input into High-dimensional Control Space},
author = {Ali Rabiee and Sima Ghafoori and MH Farhadi and Robert Beyer and Xiangyu Bai and David J Lin and Sarah Ostadabbas and Reza Abiri},
journal= {arXiv preprint arXiv:2505.11366},
year = {2025}
}