用于语义全局概念的局部模型检测测试
计算机视觉与模式识别
2024-05-30 v2 人工智能
机器学习
摘要
确保黑箱深度神经网络 (DNN) 的质量问题日益重要，尤其是在自动驾驶等安全关键领域。虽然全局概念编码通常允许用户针对特定概念对模型进行测试，但将全局概念编码与单个网络输入的局部处理相链接，揭示了其优势和局限性。我们提出的框架全局到局部概念归因 (glCA) 使用来自局部 (特定预测来源于何处) 和全局 (模型如何一般工作) 的可解释人工智能 (xAI) 方法，对预定义的语义概念进行局部测试。该方法允许以预定义的语义概念在模型潜在空间中表示为线性方向的方式，对局部后置解释进行条件化。像素级评分有助于进一步理解单个数据点的概念处理。我们的 approach 能够完全覆盖语义概念的模型内部编码，并允许局部相关信息的定位。结果显示，局部感知和使用各个全局概念编码之间存在显著差异，要求进一步调查如何获得彻底的语义概念编码。
引用
@article{arxiv.2405.17523,
title = {Locally Testing Model Detections for Semantic Global Concepts},
author = {Franz Motzkus and Georgii Mikriukov and Christian Hellert and Ute Schmid},
journal= {arXiv preprint arXiv:2405.17523},
year = {2024}
}