机器数感：面向抽象与关系推理的视觉算术问题数据集
人工智能
2020-04-28 v1
摘要
作为数学思维与智力的综合指标，数感（Dehaene 2011）架起了符号概念归纳与问题解决能力之间的桥梁。为将这一关键认知能力赋予机器智能，我们提出了一个名为机器数感（Machine Number Sense, MNS）的数据集，其由使用语法模型——与或图（And-Or Graph, AOG）——自动生成的视觉算术问题组成。这些视觉算术问题以几何图形形式呈现：每个问题有一组几何形状作为上下文，并嵌入数字符号。解决此类问题并非易事；机器不仅要识别数字，还需结合上下文、形状与关系（如对称性）以及适当的运算来解读数字。我们以四种主流神经网络模型作为该视觉推理任务的基线对 MNS 数据集进行基准测试。综合实验表明，当前基于神经网络的模型仍难以理解数字概念与关系运算。我们展示了一个简单的暴力搜索算法可在无上下文信息的情况下解出部分问题。关键在于，通过额外的感知模块考虑几何上下文，能以更少的搜索步数带来显著的性能提升。总之，我们呼吁在未来研究中关注将经典的基于搜索的算法与现代神经网络相融合，以发掘本质的数字概念。
引用
@article{arxiv.2004.12193,
title = {Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning},
author = {Wenhe Zhang and Chi Zhang and Yixin Zhu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:2004.12193},
year = {2020}
}
备注
AAAI 2020 Oral. Project page: https://sites.google.com/view/number-sense/home Code: https://github.com/zwh1999anne/Machine-Number-Sense-Dataset Dataset: https://drive.google.com/file/d/17KuL8KOIDAeRL-lD418oiDEm8bE6TEFb/view