SCoCCA：基于标准相关分析的多模态稀疏概念分解
计算机视觉与模式识别
2026-03-17 v1
摘要
解释视觉语言模型的内部推理过程对于在安全关键领域部署人工智能至关重要。概念基因可解释性通过以语义有意义的组件表示模型行为，提供了一种符合人类直觉的视角。然而，现有方法主要局限于图像，忽略了跨模态的相互作用。文本-图像嵌入（如CLIP生成的嵌入）存在模态间隙，视觉和文本特征遵循不同的分布，限制了可解释性。标准相关分析（CCA）提供了一种原则化的方法来对齐来自不同分布的特征，但尚未被用于多模态概念层面的分析。我们指出，CCA目标与InfoNCE目标密切相关，以至于优化CCA可隐式地优化InfoNCE，从而提供一种无需影响预训练InfoNCE目标的、用于增强跨模态对齐的简单、训练无关的机制。基于这一观察，我们将概念基因可解释性与CCA结合，引入概念CCA（CoCCA），一个在对齐跨模态嵌入的同时实现可解释概念分解的框架。我们进一步对其进行扩展，提出稀疏概念CCA（SCoCCA），通过强制稀疏性产生更具解耦性和辨识度的概念，从而促进激活、消融和语义操纵的改进。我们的ethods generalizes concept-based explanations to multi-modal embeddings and achieves state-of-the-art performance in concept discovery, evidenced by reconstruction and manipulation tasks such as concept ablation.
引用
@article{arxiv.2603.13884,
title = {SCoCCA: Multi-modal Sparse Concept Decomposition via Canonical Correlation Analysis},
author = {Ehud Gordon and Meir Yossef Levi and Guy Gilboa},
journal= {arXiv preprint arXiv:2603.13884},
year = {2026}
}