CoE：基于自动视觉概念电路描述与多义性量化的解释链
计算机视觉与模式识别
2025-03-20 v1 人工智能
摘要
解释性是深层视觉模型 (DVMs) 广泛部署的关键因素。概念基准后置解释方法可提供全局和局部模型决策的洞察。然而，当前领域的方法面临在自动构建准确且充足的语言解释方面灵活性不足的问题，尤其是全局概念和局部电路。特别是语义视觉概念 (VC) 中的内在多义性严重影响概念和 DVMs 的可解释性，这一问题被严重低估。本文提出一种解释链 (CoE) 方法以解决上述问题。具体而言，CoE 自动解码和描述 VCs 以构建全局概念解释数据集。进一步，为缓解多义性对模型可解释性的影响，我们设计了概念多义性解耦与过滤机制，以区分最具语境相关的概念原子。此外，构建概念多义性熵 (CPE) 作为模型可解释性度量，用于量化概念不确定性程度。确定性概念的建模升级为不确定概念原子分布。最后，CoE 通过追踪概念电路，自动为 DVMs 的决策过程提供语言化的局部解释。GPT-4o 和人类实验结果表明，CPE 和 CoE 的有效性优异，按解释性得分平均提升 36%。
引用
@article{arxiv.2503.15234,
title = {CoE: Chain-of-Explanation via Automatic Visual Concept Circuit Description and Polysemanticity Quantification},
author = {Wenlong Yu and Qilong Wang and Chuang Liu and Dong Li and Qinghua Hu},
journal= {arXiv preprint arXiv:2503.15234},
year = {2025}
}
备注
Accepted by CVPR2025