具身神经认知模型中的跨模态语言 grounding
神经与进化计算
2020-10-19 v2 计算与语言
机器学习
摘要
人类婴儿能够在幼年时看似轻松地习得自然语言。他们的语言学习似乎与学习其他认知功能以及与环境及照料者的嬉戏互动同时发生。从神经科学视角看，自然语言是具身的，扎根于大多数（即便不是全部）感觉与感觉运动模态，并通过跨模态整合习得。然而，刻画大脑中的潜在机制十分困难，解释语言在跨模态感知与动作中的 grounding 仍具挑战。本文提出一种用于语言 grounding 的神经认知模型，其反映了生物启发机制，如时间尺度的隐式适应以及端到端多模态抽象。该模型面向发展式机器人交互，并利用更大规模基于知识的数据扩展其学习能力。在我们的场景中，我们使用人形机器人 NICO 获取 EMIL 数据集，其中认知机器人在儿童游乐场环境中与物体交互，同时接收来自照料者的语言标签。模型分析表明，跨模态整合的表征足以仅通过与环境中的物体交互从感官输入中习得语言。这些表征通过组合与分解自组织地形成层次结构，并嵌入时空信息。该模型也可为进一步跨模态整合感知 grounding 的认知表征提供基础。
引用
@article{arxiv.2006.13546,
title = {Crossmodal Language Grounding in an Embodied Neurocognitive Model},
author = {Stefan Heinrich and Yuan Yao and Tobias Hinz and Zhiyuan Liu and Thomas Hummel and Matthias Kerzel and Cornelius Weber and Stefan Wermter},
journal= {arXiv preprint arXiv:2006.13546},
year = {2020}
}