通过机器人动作具身化预训练词嵌入

我们提出了一种有前景的神经网络模型，用于获取机器人动作及其语言描述的具身化表示。对包括多义词在内的各种语言表达做出恰当响应，是经由语言对话与人交互的机器人应具备的重要能力。先前的研究表明，通过使用预训练词嵌入，机器人可以使用未包含在动作-描述配对数据集中的词。然而，在分布假说下训练的词嵌入并非具身的，因为它们纯粹源自文本语料库。在本文中，我们利用机器人的感觉运动经验将预训练词嵌入转换为具身嵌入。我们通过引入非线性层来改造词嵌入，从而扩展了动作与描述之间的双向翻译模型。通过交替训练改造层和双向翻译模型，我们所提出的模型能够将预训练词嵌入转换为适应配对动作-描述数据集的形式。我们的结果表明，同义词的嵌入通过反映机器人经验（动作与环境）而形成语义簇。这些嵌入使机器人能够从数据集中未与动作配对的未见词中恰当地生成动作。