神经任务图：从单段视频演示泛化到未见任务
计算机视觉与模式识别
2019-03-08 v2 人工智能
机器学习
机器人学
摘要
我们的目标是在给定领域中仅根据任务的一段视频演示生成完成未见任务的策略。我们假设，要从单段视频演示成功泛化到未见复杂任务，必须将任务的组合结构显式地融入模型。为此，我们提出神经任务图（Neural Task Graph, NTG）网络，其使用共轭任务图作为中间表示，将视频演示与导出的策略均模块化。我们通过实验表明，NTG 在两项复杂任务上实现了任务间泛化：BulletPhysics 中的积木堆叠与 AI2-THOR 中的物体收集。NTG 在视觉输入下提高了数据效率，并且无需密集的层次监督即可实现强泛化。我们进一步表明，当应用于真实世界数据时类似的性能趋势成立。我们展示 NTG 能在 JIGSAWS 手术数据集上有效预测任务结构并泛化到未见任务。
引用
@article{arxiv.1807.03480,
title = {Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration},
author = {De-An Huang and Suraj Nair and Danfei Xu and Yuke Zhu and Animesh Garg and Li Fei-Fei and Silvio Savarese and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:1807.03480},
year = {2019}
}
备注
CVPR 2019