视觉能否取代文本在工作记忆中发挥作用？来自空间n-back任务的证据
计算与语言
2026-02-05 v1
摘要
工作记忆是智能行为的核心组成部分，提供了一个动态工作空间，用于维护和更新任务相关信息。最近的研究使用n-back任务来探测大型语言模型中类似工作记忆的行为，但尚不清楚相同探针在信息以视觉而非文本代码呈现的视觉-语言模型中是否引发类似的计算。我们评估了Qwen2.5和Qwen2.5-VL在控制空间n-back任务中，以匹配的文本渲染或图像渲染网格呈现的情形。结果显示，在所有情境中，文本条件的准确率和d'均高于视觉条件。为了在过程层面解释这些差异，我们使用试验级对数概率证据，发现名义上的2/3-back往往未能反映指示的滞后，反而与最近性锁定的比较对齐。我们进一步表明，网格大小会改变刺激流中的近期重复结构，从而改变干扰和错误模式。这些结果动机对多模态工作记忆的计算敏感解释。
引用
@article{arxiv.2602.04355,
title = {Can Vision Replace Text in Working Memory? Evidence from Spatial n-Back in Vision-Language Models},
author = {Sichu Liang and Hongyu Zhu and Wenwen Wang and Deyu Zhou},
journal= {arXiv preprint arXiv:2602.04355},
year = {2026}
}