人形机器人认知技能的无缝集成与协调：一种深度学习方法

本研究探讨如何通过对视觉运动流的直接感知进行端到端学习，来发展人形机器人不同认知过程之间的充分协调。我们提出了一个深度动态神经网络模型，该模型构建于一个动态视觉网络、一个运动生成网络和一个高层级网络之上。所提出的模型旨在处理并整合动态视觉运动模式的直接感知，其层次模型的特征在于每个层级施加了不同的空间和时间约束。我们进行了合成机器人实验，其中机器人通过观察手势学习读取人类意图，然后生成相应的目标导向动作。结果验证了所提出的模型能够学习所教授的技能并将其泛化到新情境中。该模型展示了感知、动作和决策制定的协同协调，并以无缝方式集成和协调了一组认知技能，包括视觉感知、意图读取、注意力切换、工作记忆、动作准备和执行。分析揭示，在每个层级都涌现出了连贯的内部表征。反映动作意图的高层表征通过持续整合低层视觉-本体感知流而得以发展。