我的前臂在哪里？利用序列映射对同步触觉与语言输入进行身体部位聚类
神经与进化计算
2017-06-09 v1 人工智能
计算与语言
机器学习
机器人学
摘要
人类和动物不断暴露于来自不同模态的连续感觉信息流。同时，他们形成更压缩的表示，如概念或符号。在使用语言的物种中，这一过程进一步被这种交互所结构化，其中需要在感觉运动概念与语言元素之间建立映射。有证据表明，儿童可能通过在不同语境下多次接触话语来简单地消歧潜在含义，从而学习语言（跨情境学习）。在现有模型中，模态间的映射通常通过直接使用指称对象与含义共现的频率在单一步骤中找到。在本文中，我们提出了这种一步映射的扩展，并引入了一种新提出的序列映射算法以及公开可用的Matlab实现。为进行演示，我们选择了一个不太典型的场景：不是学习将物体与其名称关联，而是专注于身体表征。一个人形机器人接受其身体上的触觉刺激，同时聆听身体部位名称（如手、前臂和躯干）的话语。以达成正确的“身体类别”为目标，我们展示了序列映射算法如何优于一步映射。此外，还研究了数据集大小和语言输入中噪声的影响。
引用
@article{arxiv.1706.02490,
title = {Where is my forearm? Clustering of body parts from simultaneous tactile and linguistic input using sequential mapping},
author = {Karla Stepanova and Matej Hoffmann and Zdenek Straka and Frederico B. Klein and Angelo Cangelosi and Michal Vavrecka},
journal= {arXiv preprint arXiv:1706.02490},
year = {2017}
}
备注
pp. 155-162