ConceptTracer：神经表征中概念显著性与选择性的交互式分析
机器学习
2026-04-09 v1 人工智能
摘要
神经网络在各种任务中表现出惊人的预测性能，但在决策过程方面往往缺乏透明度。尽管对机制性解释有日益关注，然而对于系统性地探索神经网络在一般情况以及表格基础模型在特定情况所学习的表征的工具仍相对有限。本文引入 ConceptTracer，一个用于通过人类可解释概念的视角分析神经表征的交互式应用程序。ConceptTracer 集成了两种信息论度量，用于量化概念的显著性和选择性，使研究人员和实践者能够识别对单个概念作出强烈响应的神经元。我们在 TabPFN 学习的表征上演示了 ConceptTracer 的实用性，展示了我们的做法如何促进可解释神经元的发现。这些能力共同提供了一个实用的框架，用于探讨神经网络如 TabPFN 如何编码概念层次信息。ConceptTracer 已在 https://github.com/ml-lab-htw/concept-tracer 上提供。
引用
@article{arxiv.2604.07019,
title = {ConceptTracer: Interactive Analysis of Concept Saliency and Selectivity in Neural Representations},
author = {Ricardo Knauer and Andre Beinrucker and Erik Rodner},
journal= {arXiv preprint arXiv:2604.07019},
year = {2026}
}
备注
XAI 2026 Late-Breaking Work Track