面向复杂环境中跨模态冲突解决的神经机器人实验
机器人学
2018-09-26 v3 人机交互
摘要
跨模态冲突解决对于机器人通过与环境交互实现感觉运动耦合至关重要，可在噪声条件下产生迅速而稳健的行为。本文提出一种神经机器人实验，其中 iCub 机器人在复杂跨模态环境中表现出类人响应。为了更好地理解人类如何处理多感官冲突，我们进行了一项行为研究，将 33 名受试者暴露于一致和不一致的动态视听线索下。与以往使用简化刺激的研究不同，我们设计了一个包含四个动画化身的场景，并观察到视觉偏倚的幅度和范围与场景中嵌入的语义相关，即与环境统计一致的视觉线索（运动的嘴唇与发声）诱发最强的偏倚。我们实现了一个深度学习模型，处理立体声、面部特征和身体运动以触发离散行为响应。训练该模型后，我们将 iCub 暴露于与人类受试者相同的实验条件下，表明该机器人可实时复现类似响应。我们的跨学科工作为跨模态冲突解决如何在机器人中建模提供了重要见解，并提出了将感官观测与内部生成的知识和期望高效结合的未来研究方向。
引用
@article{arxiv.1802.10408,
title = {A Neurorobotic Experiment for Crossmodal Conflict Resolution in Complex Environments},
author = {German I. Parisi and Pablo Barros and Di Fu and Sven Magg and Haiyan Wu and Xun Liu and Stefan Wermter},
journal= {arXiv preprint arXiv:1802.10408},
year = {2018}
}
备注
Accepted at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2018), Madrid, Spain