重访积木世界:从图像对学习与推理生成事件序列
计算机视觉与模式识别
2019-05-30 v1 人工智能
摘要
识别场景中变化或变换、并推理其因果的能力,是智能的关键方面。本工作中我们超越计算感知的近期进展,引入更具挑战性的任务:基于图像的序列事件生成(IES)。在IES中,任务为预测将物体从输入源图像构型重排至目标图像构型所需动作序列。IES亦要求系统具备归纳泛化能力。受认知发展证据启发,我们编制了首个IES数据集——积木世界图像推理数据集(BIRD),其包含不同构型的木制积木图像,以及将一种构型重排至另一构型所需的移动序列。我们首先探索现有深度学习架构的使用,表明这些端到端方法在推断时间事件序列上表现不佳且无法归纳泛化。随后我们提出模块化两步法:视觉感知继而事件定序,并通过结合学习与推理展示性能提升。最后,通过在自然图像上展示我们方法的扩展,我们力求为真实场景事件定序的未来研究铺路。
引用
@article{arxiv.1905.12042,
title = {Blocksworld Revisited: Learning and Reasoning to Generate Event-Sequences from Image Pairs},
author = {Tejas Gokhale and Shailaja Sampat and Zhiyuan Fang and Yezhou Yang and Chitta Baral},
journal= {arXiv preprint arXiv:1905.12042},
year = {2019}
}
备注
10 pages, 5 figures, for associated dataset, see https://asu-active-perception-group.github.io/bird_dataset_web/