模型中人工失语症
计算与语言
2026-05-18 v1 机器学习
摘要
失语症是因脑部损伤引发的选择性语言障碍，通过提供脑区与特定症状轮廓之间的因果关系，揭示了人类语言的功能组织。借鉴此文献，我们引入一种受失语症启发的技术，用于表征语言模型 (LM) 的新生功能组织。我们通过“损伤”(置零)模型参数，并以Text失语症电池 (TAB) 诊断的临床失语症症状为基准，对此干预进行测量。当应用于五个10亿参数规模的语言模型生成的112,426个输出时，评估的全部症状轮廓均呈现，但分布与人类差异显著。我们的方法发现，注意力组件(query、key、value、output)与前馈组件(up、gate、down)之间的症状轮廓差异更为显著，而同一机制内的组件差异较弱。我们还发现深度效应，即早期层的损伤会导致语法和语义症状，而迟中层损伤则引发更高比例的语音和流畅性缺陷。尽管某些 LM 损伤引起的症状轮廓在定量上对某些人类失语类型更为相似，但 LM 与人类的症状模式在质量上存在差异，这表明失语症综合征受学习与加工细节的强烈影响，而非语言处理中断的领域不变性后果。
引用
@article{arxiv.2605.16222,
title = {Artificial Aphasias in Lesioned Language Models},
author = {Nathan Roll and Jill Kries and Laura Gwilliams and Cory Shain},
journal= {arXiv preprint arXiv:2605.16222},
year = {2026}
}
备注
49 pages, 13 figures