线视界：关于VLLM中线性表示的探讨

语言模型可以通过对视觉输入的嵌入进行微调来实现多模态能力。但这些多模态模型如何在隐藏激活中表示图像呢？我们探讨了LlaVA-Next这一流行开源VLLM中图像概念的表示方式。我们发现，ImageNet类别通过在残差流中可线性解码的特征得到了多样化的表示。我们通过对模型输出进行针对性编辑来证明这些特征具有因果性。为增加所研究线性特征的多样性，我们训练了多模态稀疏自编码器（SAE），构建了一个高度可解释的文本和图像特征字典。我们发现，尽管模型在不同模态上的表示相当独立，但在更深的层次上，这些表示变得越来越共享。