通过双流网络学习视觉抽象推理
计算机视觉与模式识别
2024-12-02 v1 人工智能
机器学习
摘要
视觉抽象推理任务对深度神经网络而言具有挑战性，暴露了其能力的局限性。本文提出了一种神经网络模型，用于解决Raven's Progressive Matrices(RPM)所提出的挑战。灵感来源于视觉处理的双流假设，我们引入双流推理网络(Dual-stream Reasoning Network, DRNet)，该网络利用两个平行的分支来捕获图像特征。在两个流的顶部，一个推理模块首先学习合并相同图像的高级特征。随后，它采用规则提取器处理涉及八个上下文图像和每个候选图像的组合，提取离散抽象规则，并利用多层感知器(Multilayer Perceptron, MLP)进行预测。实验结果表明，所提出的DRNet在多个RPM基准测试中实现了平均水平的最佳性能。此外，DRNet在各种超出分布场景中也表现出稳健的泛化能力。双流在DRNet中发挥不同功能，分别处理局部或空间信息，然后整合到推理模块中，利用抽象规则促进视觉推理任务的执行。这些发现表明，双流架构在视觉抽象推理中可能发挥关键作用。
引用
@article{arxiv.2411.19451,
title = {Learning Visual Abstract Reasoning through Dual-Stream Networks},
author = {Kai Zhao and Chang Xu and Bailu Si},
journal= {arXiv preprint arXiv:2411.19451},
year = {2024}
}
备注
10 pages, 6 figures