用于多模态语言理解的基于原型的对比迁移学习
机器人学
2023-07-13 v1 计算与语言
计算机视觉与模式识别
摘要
尽管家用服务机器人有望为需要支持的人提供协助，但它们目前尚不能通过自然语言与人顺畅交互。例如，给定指令“从厨房给我拿一个瓶子”，此类机器人难以在室内环境中指定该瓶子。大多数传统模型在真实世界数据集上训练，这些数据集收集费时费力，且未通过迁移学习框架充分利用仿真数据。在本研究中，我们提出一种用于多模态语言理解的新型迁移学习方法，称为基于原型的对比迁移学习(PCTL)，其使用一种称为 Dual ProtoNCE 的新对比损失。我们将 PCTL 引入根据自由形式自然语言指令识别室内环境中目标物体的任务。为验证 PCTL，我们构建了新的真实世界与仿真数据集。我们的实验表明 PCTL 优于现有方法。具体而言，PCTL 达到了 78.1% 的准确率，而简单微调的准确率为 73.4%。
引用
@article{arxiv.2307.05942,
title = {Prototypical Contrastive Transfer Learning for Multimodal Language Understanding},
author = {Seitaro Otsuki and Shintaro Ishikawa and Komei Sugiura},
journal= {arXiv preprint arXiv:2307.05942},
year = {2023}
}
备注
Accepted for presentation at IROS23