基于与或图表示的神经任务规划
计算机视觉与模式识别
2018-08-29 v1 机器人学
摘要
本文关注语义任务规划，即在特定场景下预测朝向完成某一特定任务的一系列动作，这是计算机视觉研究中的一个新问题。主要挑战在于如何建模任务特定知识以及如何将该知识整合进学习过程。在本工作中，我们提出训练一个循环长短期记忆（LSTM）网络来解决此问题，即输入场景图像（含预定位物体）与指定任务，并循环预测动作序列。然而，训练此类网络通常需要大量标注样本以覆盖语义空间（例如多样的动作分解与排序）。为克服该问题，我们引入用于任务描述的知识与或图（AOG），其将任务层次化表示为原子动作。借助此AOG表示，我们可以通过用一小部分标注样本训练另一个辅助LSTM网络来生成许多有效样本（即依常识的动作序列）。此外，这些生成的样本（即面向任务的动作序列）有效促进了语义任务规划模型的训练。在实验中，我们创建了一个包含多样日常任务的新数据集，并广泛评估了我们方法的有效性。
引用
@article{arxiv.1808.09284,
title = {Neural Task Planning with And-Or Graph Representations},
author = {Tianshui Chen and Riquan Chen and Lin Nie and Xiaonan Luo and Xiaobai Liu and Liang Lin},
journal= {arXiv preprint arXiv:1808.09284},
year = {2018}
}
备注
Submitted to TMM, under minor revision. arXiv admin note: text overlap with arXiv:1707.04677