由语言赋能的抽象视觉推理
人工智能
2023-06-23 v3 计算与语言
机器学习
摘要
尽管人工智能(AI)模型在许多定义明确的应用中已达到甚至超越人类水平,但它们仍难以展现出广泛而灵活的智能。由 François Chollet 提出的抽象与推理语料库(ARC)作为一项视觉智能基准,旨在评估 AI 系统距离类人认知能力还有多近。当前大多数方法依赖精心手工设计的特定领域程序搜索,以暴力方式求解 ARC 中的任务。本文提出一种用于求解 ARC 的通用基于学习的框架,其核心在于将任务从视觉域转换到语言域。这种语言与视觉的组合使得预训练模型可在每个阶段被利用,从而将手工先验转向模型的学习先验。尽管尚未在 ARC 上超越最先进模型,我们展示了本方法的潜力,例如求解了一些此前未被解决的 ARC 任务。
引用
@article{arxiv.2303.04091,
title = {Abstract Visual Reasoning Enabled by Language},
author = {Giacomo Camposampiero and Loic Houmard and Benjamin Estermann and Joël Mathys and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2303.04091},
year = {2023}
}
备注
The first two authors have contributed equally to this work. Accepted as regular paper at CVPR 2023 Workshop and Challenges for New Frontiers in Visual Language Reasoning: Compositionality, Prompts and Causality (NFVLR)