用于组合视觉推理的元模块网络
计算机视觉与模式识别
2020-11-10 v5 机器学习
摘要
神经模块网络（NMN）凭借其具有显式多跳推理能力的手工设计神经模块，展现出强大的可解释性与组合性。然而，大多数 NMN 存在两个关键缺陷：1）可扩展性：针对特定功能定制的模块使得在复杂任务中扩展到更大功能集时不切实际；2）泛化性：僵化的预定义模块清单难以泛化到新任务/领域中的未见功能。为设计更强大且实用的 NMN 架构，我们提出以新颖元模块为核心的元模块网络（MMN），该元模块可接收功能配方并动态变形为多样化的实例模块。实例模块随后被编织为执行图以进行复杂视觉推理，继承了 NMN 的强可解释性与组合性。借助这种灵活的实例化机制，实例模块的参数继承自中央元模块，在功能集增长时保持相同的模型复杂度，从而有望获得更好的可扩展性。同时，由于功能被编码到嵌入空间中，未见功能可基于其与已观测功能的结构相似性 readily 表示，从而确保更好的泛化性。在 GQA 和 CLEVR 数据集上的实验验证了 MMN 优于最先进的 NMN 设计。基于 GQA 数据集留出的未见功能的合成实验也展示了 MMN 的强泛化性。我们的代码与模型发布于 Github https://github.com/wenhuchen/Meta-Module-Network。
引用
@article{arxiv.1910.03230,
title = {Meta Module Network for Compositional Visual Reasoning},
author = {Wenhu Chen and Zhe Gan and Linjie Li and Yu Cheng and William Wang and Jingjing Liu},
journal= {arXiv preprint arXiv:1910.03230},
year = {2020}
}
备注
Accepted to WACV 21 (Oral)