指针值检索：理解神经网络泛化极限的新基准
机器学习
2022-02-22 v2 人工智能
机器学习
摘要
人工神经网络成功的核心在于其泛化能力。但神经网络的泛化主要依赖见过高度相似的训练样本（记忆）吗？还是神经网络具备类人智能的推理能力，若是，程度如何？这些仍是人工神经网络的根本性开放问题。本文作为回答这些问题的一步，引入一个新基准——指针值检索（PVR），以研究神经网络推理的极限。PVR任务套件基于关于间接寻址的推理，这是人类智能的标志，其中第一阶段（任务）包含解决第二阶段（任务）的指令。在PVR中，这是通过让任务输入的一部分充当指针，给出关于另一输入位置的指令，该位置构成输出。我们表明这一简单规则可用于在不同输入模态和配置下创建多样化任务。重要的是，这种间接寻址的使用能够通过分布偏移和增加函数复杂度来系统性地调节任务难度。我们对不同PVR任务进行了详细实证研究，发现性能在数据集规模、神经网络架构和任务复杂度上存在巨大差异。进一步，通过引入分布偏移和增加函数复杂度，我们开发了精细的推理测试，揭示了细微的失败与令人惊讶的成功，为该基准上的诸多探索方向提供了启示。
引用
@article{arxiv.2107.12580,
title = {Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization},
author = {Chiyuan Zhang and Maithra Raghu and Jon Kleinberg and Samy Bengio},
journal= {arXiv preprint arXiv:2107.12580},
year = {2022}
}