用于关系推理的语言条件图网络
计算机视觉与模式识别
2019-08-20 v2
摘要
解决具身语言任务通常需要在给定任务上下文中推理对象之间的关系。例如，要回答“盘子上的杯子是什么颜色？”我们必须检查满足相对于盘子的“上”关系的特定杯子的颜色。近期工作提出了各种能够进行复杂关系推理的方法。然而，它们的大部分能力在于推理结构，而场景由简单的局部外观特征表示。在本文中，我们采取另一种方法，为视觉场景中的对象构建上下文化表示以支持关系推理。我们提出了语言条件图网络(LCGN)的通用框架，其中每个节点表示一个对象，并通过以文本输入为条件的迭代消息传递，由相关对象的上下文感知表示来描述。例如，以相对于盘子的“上”关系为条件，对象“杯子”从对象“盘子”收集消息，将其表示更新为“盘子上的杯子”，这可以被简单分类器轻松用于答案预测。我们通过实验表明，我们的LCGN方法有效支持关系推理，并提升了在多个任务和数据集上的性能。我们的代码可在 http://ronghanghu.com/lcgn 获取。
引用
@article{arxiv.1905.04405,
title = {Language-Conditioned Graph Networks for Relational Reasoning},
author = {Ronghang Hu and Anna Rohrbach and Trevor Darrell and Kate Saenko},
journal= {arXiv preprint arXiv:1905.04405},
year = {2019}
}