从场景图对中学习动作-效应动力学
计算机视觉与模式识别
2022-12-08 v1
摘要
'动作'在人类与世界交互中起着至关重要的作用。因此，协助我们完成日常任务的自主智能体也需要具备'关于动作与变化的推理'(RAC)能力。近来，结合视觉与语言输入的RAC研究兴趣日益增长。图常被用于表示视觉内容的语义结构(即物体、其属性及物体间关系)，通常称为场景图。本工作中，我们提出一种新方法，利用图像的场景图表示来推理自然语言描述的动作效应。我们在现有CLEVR_HYP (Sampat et. al, 2021)数据集上实验，表明相较现有模型，我们提出的方法在性能、数据效率与泛化能力方面均有效。
引用
@article{arxiv.2212.03433,
title = {Learning Action-Effect Dynamics from Pairs of Scene-graphs},
author = {Shailaja Keyur Sampat and Pratyay Banerjee and Yezhou Yang and Chitta Baral},
journal= {arXiv preprint arXiv:2212.03433},
year = {2022}
}
备注
5 pages, 6 figures; Accepted at 3rd Workshop on Graphs and more Complex structures for Learning and Reasoning (GCLR) workshop, AAAI 2023