视觉语言模型中的电路追踪：理解多模态思维的内部机制
计算机视觉与模式识别
2026-02-25 v1 人工智能
机器学习
摘要
视觉语言模型 (VLMs) 强大但仍是透明的黑盒子。我们引入了第一个在 VLMs 中进行电路追踪的透明框架，以系统性地分析多模态推理。通过利用 transcoders、归因图和注意力方法，我们揭示了 VLMs 如何层次化地整合视觉和语义概念。我们发现，不同的视觉特征电路可以处理数学推理并支持跨模态关联。通过特征引导和电路修补验证，我们的框架证明了这些电路是因果且可控制的，为更具可解释性和可靠性的 VLMs 奠定了基础。
引用
@article{arxiv.2602.20330,
title = {Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking},
author = {Jingcheng Yang and Tianhu Xiong and Shengyi Qian and Klara Nahrstedt and Mingyuan Wu},
journal= {arXiv preprint arXiv:2602.20330},
year = {2026}
}
备注
To appear in the Findings of CVPR 2026