机器人运动学习中的感知运动注意力与基于语言的回归：共享潜变量集成方法

近年来，针对大语言模型（LLM）与机器人集成的研究活跃进行，但大多数研究未考虑在机器人运动生成阶段进行端到端反馈。深度神经网络的预测必然包含误差，需要更新训练好的模型以适应真实环境生成自适应的机器人运动。本研究提出了一种将机器人运动学习模型与LLM集成的方法，利用共享潜变量。当生成机器人运动时，所提出的方法依据来自传感器运动注意点和给定机器人任务语言指令的预测误差，更新共享参数。这使模型能够高效搜索适合机器人任务的潜变量。通过多个机器人任务的仿真实验，我们从位置泛化和语言指令泛化能力两个角度展示了所提出方法的有效性。