经过训练的人形机器人能够执行类人的跨模态社会注意与冲突解决

为增强人机社会交互，机器人必须在复杂的真实世界环境中处理多种社会线索。然而，跨模态输入信息的不一致不可避免，且可能对机器人处理构成挑战。为应对这一挑战，本研究采用跨模态冲突解决的神经机器人范式，使机器人表现出类人的社会注意。对人类研究部分，37 名参与者参与了一项行为实验。我们设计了一个包含三个动画化身的圆桌会议场景以提高生态效度。每个化身佩戴医用口罩以遮挡鼻子、嘴巴和下巴的面部线索。中央化身移动其眼动注视，而两侧化身则发出声音。注视方向与声音位置在空间上或一致或不一致。我们观察到，中央化身的动态注视能够触发跨模态社会注意反应。特别是，人类在视听一致条件下的表现优于不一致条件。我们的显著性预测模型经过训练，能够检测社会线索、预测视听显著性，并为机器人研究进行选择性注意。将训练好的模型部署到 iCub 机器人上后，机器人被置于与人类实验相似的实验室条件下。尽管人类表现总体更优，但我们训练好的模型证明其能够复制与人类相似的注意反应。