抽象视觉推理问题的统一视角

抽象视觉推理（AVR）领域涵盖了各种问题，许多问题灵感来自人类 IQ 测试。AVR 任务的多样性导致 state-of-the-art AVR 方法成为 task-specific 方法。此外，当代方法将每个 AVR 问题实例不考虑为整体，而是以特定位置和角色（context vs. answer panels）预先分配的单个面板集合形式呈现。尽管这些高度专业化的方法最近在解决特定 AVR 任务方面取得了显著进展，但将每个任务单独考虑阻碍了该领域通用学习系统的发展。本文提出了 AVR 任务的统一视角，每个问题实例被渲染为单张图像，不对面板数量、位置或角色做任何先验假设。提出的统一视角的主要优势在于能够开发适用于各种 AVR 任务的通用学习模型。此外，提出的方法天然促进了 AVR 领域的迁移学习，因为各种类型的问题共享一种常见表示。在四个 AVR 数据集上进行的实验，包括 Raven's Progressive Matrices 和 Visual Analogy Problems，以及一个真实世界的视觉类比数据集，表明提出的统一表示对 state-of-the-art 深度学习（DL）AVR 模型和更广泛的当代 DL 图像识别方法都构成了挑战。为了应对这一挑战，我们引入了 Unified Model for Abstract Visual Reasoning（UMAVR），能够以统一方式处理各种类型的 AVR 问题。UMAVR 在选定的单任务学习实验中超越了现有的 AVR 方法，并在迁移学习和课程学习设置中显示出有效的知识复用能力。