诱导视觉语言模型中的阅读障碍
计算与语言
2026-02-27 v3 机器学习
摘要
阅读障碍是一种神经发育障碍，特点是持续的阅读困难，与 ventral occipito-temporal 皮层中视觉词形区 (VWFA) 活动减少相关联。传统方法，如行为和神经影像学方法，已为理解阅读障碍的机制提供了宝贵见解，但在测试关于阅读障碍底层机制的因果假设方面仍受限。本研究使用大规模视觉语言模型 (VLM) 模拟阅读障碍，通过功能性识别和扰动类比单词处理的单元。我们使用认知神经科学的刺激物，识别 VLM 中的视觉-词形-选择性单元，并证明这些单元可预测人类 VWFA 神经反应。消除模型 VWF 单元会导致阅读任务中选择性障碍，而一般的视觉和语言理解能力保持完整。具体而言，所得模型匹配阅读障碍患者的语音处理缺陷，orthographic 处理变化不大，并且在字体灵敏度方面反映阅读障碍行为。 综上，我们的建模结果复制了阅读障碍的关键特征，并为调查脑部障碍提供了计算框架。
引用
@article{arxiv.2509.24597,
title = {Inducing Dyslexia in Vision Language Models},
author = {Melika Honarmand and Ayati Sharma and Badr AlKhamissi and Johannes Mehrer and Martin Schrimpf},
journal= {arXiv preprint arXiv:2509.24597},
year = {2026}
}