神经模块网络

视觉问答本质上具有组合性——诸如“狗在哪里？”这样的问题与“狗是什么颜色？”和“猫在哪里？”等问题共享子结构。本文旨在同时利用深度网络的表征能力和问题的组合语言结构。我们描述了一种用于构建和学习*神经模块网络*的方法，该网络将联合训练的神经“模块”集合组合成用于问答的深度网络。我们的方法将问题分解为其语言子结构，并利用这些结构动态实例化模块化网络（包含用于识别狗、分类颜色等的可复用组件）。所得到的复合网络被联合训练。我们在两个具有挑战性的视觉问答数据集上评估了我们的方法，在VQA自然图像数据集和一个关于抽象形状的复杂问题新数据集上均取得了最先进的 (SOTA) 结果。