中文

解码谜题:在人类与人工智能的工作记忆多面性上开展基准评测

神经元与认知 2023-11-02 v2 人工智能 计算机视觉与模式识别 机器学习

摘要

工作记忆(WM)是一种基本的认知过程,有助于信息的临时存储、整合、操控与提取,在推理与决策任务中发挥着至关重要的作用。能够捕捉工作记忆多面性的稳健基准数据集,对于人工智能工作记忆模型的有效开发与评估至关重要。为此,我们引入了一个全面的工作记忆(WorM)基准数据集。WorM 包含 10 项任务共计 100 万次试次,评估了工作记忆的 4 种功能、3 个领域以及 11 项行为与神经特征。我们在所有这些任务上联合训练并测试了最先进的循环神经网络与 transformers。我们还纳入了人类行为基准作为比较的上界。我们的结果表明,AI 模型复现了大脑中工作记忆的某些特征,最显著的是首因效应与近因效应,以及专门针对工作记忆不同领域与功能的神经簇与相关物。在实验中,我们也揭示了现有模型在逼近人类行为方面的一些局限。该数据集作为认知心理学、神经科学与人工智能领域社区的宝贵资源,提供了一个标准化框架,用以比较并改进工作记忆模型、研究工作记忆的神经基础,以及开发具有类人能力的工作记忆模型。我们的源代码与数据可在 https://github.com/ZhangLab-DeepNeuroCogLab/WorM 获取。

关键词

引用

@article{arxiv.2307.10768,
  title  = {Decoding the Enigma: Benchmarking Humans and AIs on the Many Facets of Working Memory},
  author = {Ankur Sikarwar and Mengmi Zhang},
  journal= {arXiv preprint arXiv:2307.10768},
  year   = {2023}
}

备注

Conference on Neural Information Processing Systems (NeurIPS 2023)