概念嵌入分析：综述

深度神经网络（DNNs）已深入诸多应用，对人类—机器系统的安全性、安全性与公平性具有潜在影响。此类应用需要用户的基本理解与充分信任。这催生了可解释人工智能（XAI）研究领域，即寻找打开 DNNs 所代表的“黑箱”的方法。具体而言，对于计算机视觉领域，对 DNNs 的实际评估需要人类可解释概念与模型内部之间的全局有效关联。概念（嵌入）分析（CA）研究领域致力于解决该问题：CA 旨在寻找人类可解释的语义概念（如眼睛、有胡须）与 DNN 内部表示之间的全局、可评估关联。本文建立了 CA 的通用定义及 CA 方法的分类体系，统一了文献中的若干思想。由此可轻松定位与比较 CA 方法。在所定义概念的指导下，综述了当前 CA 方法及相关有趣应用的最新研究。讨论、比较并归类了三十余种相关方法。最后，针对实践者，提供了用于有监督概念分析的十五个数据集的概览。文末指出了开放挑战与研究方向。