MMNeuron：发现多模态大语言模型中细胞水平领域特定解释
计算与语言
2025-05-21 v2
摘要
将视觉特征投影到词嵌入空间已成为多模态大语言模型（MLLM）中重要的融合策略之一，但其内部机制尚未得到探索。灵感来自多语言研究，我们识别出MLLM中的领域特定神经元。具体而言，我们研究了领域特定神经元的分布以及MLLM如何处理来自不同领域的特征。进一步，我们提出了一种针对MLLM中语言模型模块处理投影图像特征的三阶段机制，并通过logit lens验证了这一假设。大量实验表明，尽管当前MLLM具有视觉问答（VQA）能力，但它们可能未充分利用领域特定信息。适当地操控领域特定神经元最多仅导致约10%的准确率变化，为未来开发跨域、全方位MLLM指明了方向。源代码已发布于https://github.com/Z1zs/MMNeuron。
引用
@article{arxiv.2406.11193,
title = {MMNeuron: Discovering Neuron-Level Domain-Specific Interpretation in Multimodal Large Language Model},
author = {Jiahao Huo and Yibo Yan and Boren Hu and Yutao Yue and Xuming Hu},
journal= {arXiv preprint arXiv:2406.11193},
year = {2025}
}
备注
Accepted by the Main Conference of Empirical Methods in Natural Language Processing (EMNLP) 2024