利用少量配对数据学习描述与动作间的双向翻译

本研究利用来自不同模态的少量配对数据，实现了描述与动作之间的双向翻译。相互生成描述与动作的能力对于机器人在日常生活中与人类协作至关重要，这通常需要一个包含两种模态数据全面配对的大规模数据集。然而，配对数据集构建成本高且难以收集。为解决此问题，本研究提出了一种用于双向翻译的两阶段训练方法。在所提方法中，我们使用大量非配对数据训练用于描述和动作的循环自编码器 (RAE)。然后，我们利用少量配对数据对整个模型进行微调以绑定其中间表示。由于用于预训练的数据无需配对，因此可仅使用行为数据或大型语言语料库。我们使用由动作捕捉动作和描述组成的配对数据集对方法进行了实验评估。结果表明，即使用于训练的配对数据量很少，我们的方法也表现良好。各 RAE 中间表示的可视化显示，相似动作被编码在聚集的位置，且相应的特征向量对齐良好。