与粉红猪小妹一起学英语

近期通过基于感知的接地来习得口语的计算模型，利用口语与视觉模态之间的关联，并学习在联合向量空间中表示语音和视觉数据。从生态效度角度看，一个尚未解决的主要问题是训练数据，通常由图像或视频与所描绘内容的口语描述配对组成。这种设置保证了语音与视觉数据之间不切实际地强相关。在现实世界中，语言与视觉模态之间的耦合是松散的，并且常常受到语音信号中非语义方面相关性的混淆。在此，我们使用基于儿童卡通《粉红猪小妹》(Peppa Pig)的数据集来解决这一缺陷。我们在由角色间对话组成的数据部分上训练一个简单的双模态架构，并在包含描述性旁白的片段上进行评估。尽管该训练数据中信号微弱且被混淆，我们的模型成功习得了口语视觉语义的若干方面。