从传感器运动动态功能连接中发现无监督行为原语

动物和机器人的运动都会产生高维的运动和感性信息的流。想象一下，新生儿的大脑或婴儿人形机器人控制器试图理解未经处理的传感器运动时间序列。本文提出了一个用于研究机器人代理多模态感性信号动态功能连接的框架，以揭示其内在结构。通过使用瞬时互信息，我们捕捉了肢体感知、触觉和视觉信号之间随时间变化的功能连接 (FC)，揭示了传感器运动关系。使用无限关系模型，我们识别了传感器运动模块及其演化的功能连接。为进一步解释这些动态交互，我们采用非负矩阵分解，将连接模式分解为加法因子及其对应的时间系数。这些因子可被视为智能体的运动原语或运动协同词，帮助其理解其传感器运动空间并用于行为选择。该方法可部署于机器人学习以及人类运动轨迹或脑信号的分析中。