基于动作片段无监督学习的机器人行为描述生成
计算与语言
2020-03-24 v1 机器人学
摘要
桥接机器人动作序列与其自然语言描述是在新兴的人助机器人领域中提升可解释性的重要任务。本文提出一种生成描述人助机器人行为自然语言描述的系统。该系统利用机器人观测（来自执行器系统与摄像头的历史记录）描述机器人动作，以实现机器人动作与自然语言描述间的端到端桥接。将现有序列到序列模型应用于此映射存在两个难点：1）难以为各类机器人及其环境准备大规模数据集；2）机器人动作观测所得样本数与生成描述词序列数间存在鸿沟。我们引入基于 K-means 聚类的无监督分割，将典型机器人观测模式统一为类别。该方法使网络能从少量数据学习关系。此外，我们利用基于字节对编码（BPE）的分块方法填补机器人动作观测样本数与描述词数间的鸿沟。我们还将注意力机制应用于分割任务。实验结果表明，所提基于无监督学习的模型能生成优于其他方法的描述。我们也显示注意力机制在我们的低资源设定下表现不佳。
引用
@article{arxiv.2003.10066,
title = {Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments},
author = {Koichiro Yoshino and Kohei Wakimoto and Yuta Nishimura and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2003.10066},
year = {2020}
}
备注
Will appear in IWSDS2020