通过机器人语言与动作的交互学习发展组合性与泛化能力

人类擅长将已习得的行为应用于未学习过的情境。这种泛化行为的一个关键组成部分是我们将整体组合/分解为可重用部分的能力，这一属性被称为组合性。机器人学中的一个基本问题就涉及这一特性：“当个体仅学习部分语言组合及其对应的感觉运动模式时，如何通过联想学习，使语言组合性与感觉运动技能同步发展？”为了解决这个问题，我们基于自由能原理，提出了一种受大脑启发的神经网络模型，该模型将视觉、本体感觉和语言整合到一个预测编码和主动推理的框架中。通过在机器人手臂上进行的各种仿真实验，评估了该模型的有效性和能力。我们的结果表明，当增加任务组合的训练变化时，对未学习的动词-名词组合的学习泛化能力显著增强。我们将此归因于语言潜在状态空间中自组织的组合结构受到感觉运动学习的显著影响。消融研究表明，视觉注意力和工作记忆对于准确生成视觉-运动序列以实现语言表达的目标至关重要。这些见解加深了我们对通过语言和感觉运动经验交互发展组合性机制的理解。