用于感知、句法与语义系统性泛化的最小数据集
机器学习
2023-04-19 v3 人工智能
计算机视觉与模式识别
摘要
受人类掌握算术并泛化至新问题的卓越能力启发，我们提出一个新数据集——手写整数算术（HINT），以考察机器在三个层面学习可泛化概念的能力：感知、句法与语义。在 HINT 中，机器需以弱监督方式学习概念如何从图像等原始信号中被感知（即感知）、多个概念如何被结构化组合以形成合法表达式（即句法），以及概念如何实现以支撑各类推理任务（即语义）。聚焦系统性泛化，我们精心设计了五折测试集，以评估所学概念在三个层面的插值与外推。此外，我们设计了少样本学习划分，以判定模型能否快速学习新概念并将其泛化到更复杂的场景。为理解现有模型的局限，我们使用多种序列到序列模型（包括 RNN、Transformer 与 GPT-3（含思维链提示））开展了大量实验。结果表明，当前模型难以外推至长距离句法依赖与语义。在以少样本设定评估新概念时，模型与人类水平的泛化之间存在显著差距。而且，我们发现仅靠扩大数据集与模型规模无法解决 HINT，该策略对句法与语义的外推贡献甚微。最后，在零样本 GPT-3 实验中，思维链提示展现出令人印象深刻的结果并显著提升了测试准确率。我们相信 HINT 数据集与实验发现对系统性泛化学习社区极具价值。
引用
@article{arxiv.2103.01403,
title = {A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics},
author = {Qing Li and Siyuan Huang and Yining Hong and Yixin Zhu and Ying Nian Wu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:2103.01403},
year = {2023}
}
备注
ICLR 2023. website: https://liqing-ustc.github.io/HINT