用神经嵌入与向量算术求解 ARC 视觉类比：一种通用方法
人工智能
2023-11-15 v1 计算机视觉与模式识别
机器学习
摘要
类比推理从已知关系中提取信息，并将该信息推广到相似却不熟悉的情形。深度学习模型能够求解语言类比的最早通用方式之一是通过词嵌入的向量算术，本质上将映射到向量空间中的词关联起来（例如，king - man + woman = __?）。相比之下，大多数求解视觉类比的尝试仍主要是任务特定的且可泛化性较弱。本项目聚焦于视觉类比推理，并将最初用于求解语言类比的通用机制应用于视觉领域。以抽象与推理语料库（ARC）为例研究视觉类比求解，我们使用变分自编码器（VAE）将 ARC 条目转换为低维潜向量，类似于语言方法中所用的词嵌入。通过简单的向量算术，发现 ARC 条目的底层规则并用以求解它们。结果表明，该方法在维度较少（即所用颜色少、形状均匀）、输入到输出示例相似且 VAE 上重建精度高的简单条目上表现良好。对更复杂条目的预测显示出与期望输出的较大偏差，尽管预测仍常近似该条目规则集的部分内容。误差模式表明模型按预期工作。在官方 ARC 范式上，模型取得 2% 的得分（当前世界纪录为 21%），在 ConceptARC 上取得 8.8%。尽管所提方法涉及基础降维技术与标准向量算术，该方法在 ARC 上展示了有前景的结果，并可轻易推广到其他抽象视觉推理任务。
引用
@article{arxiv.2311.08083,
title = {Solving ARC visual analogies with neural embeddings and vector arithmetic: A generalized method},
author = {Luca H. Thoms and Karel A. Veldkamp and Hannes Rosenbusch and Claire E. Stevenson},
journal= {arXiv preprint arXiv:2311.08083},
year = {2023}
}
备注
Data and code can be found on https://github.com/foger3/ARC_DeepLearning