寻找视觉语言模型中的文化敏感性神经元
机器学习
2026-04-21 v2 人工智能
计算与语言
摘要
尽管视觉语言模型（VLMs）在性能方面取得了显著进步，但仍在处理文化嵌入输入时表现不佳。为理解 VLMs 如何处理文化嵌入信息，我们研究是否存在文化敏感神经元，即这些神经元的激活对与特定文化背景相关的输入表现出优先敏感性。我们检查是否存在此类神经元对文化多样化视觉问答的重要性以及它们的位置。使用 CVQA 基准测试，我们识别出文化选择性神经元并通过 deactivating 被各种识别方法标记的神经元进行诊断测试。在25个文化群体上的三个 VLMs 实验表明，确实存在某些神经元的 ablation 对涉及相应文化的问题的性能损害显著，而对其他文化则影响有限。此外，我们引入了新的基于边际的选择器 Contrastive Activation Margin（ConAct），并表明其在识别与文化选择性相关的神经元方面优于基于概率和熵的方法。最后，我们的层级分析揭示，这些神经元并非在模型中均匀分布：它们在特定的解码器层中以模型依赖的方式聚集。
引用
@article{arxiv.2510.24942,
title = {Finding Culture-Sensitive Neurons in Vision-Language Models},
author = {Xiutian Zhao and Rochelle Choenni and Rohit Saxena and Ivan Titov},
journal= {arXiv preprint arXiv:2510.24942},
year = {2026}
}
备注
Accepted to EACL 2026