深度学习训练中的概念演化：统一解释框架与发现
机器学习
2023-08-24 v4 计算机视觉与模式识别
摘要
我们提出 ConceptEvo，一个用于深度神经网络（DNNs）的统一解释框架，可揭示训练过程中所学概念的萌生与演化。我们的工作填补了 DNN 解释研究中的一个关键空白，因为现有方法主要关注训练后解释。ConceptEvo 引入了两项新技术贡献：（1）一种生成统一语义空间的算法，支持在训练过程中对不同模型进行并列比较；（2）一种发现并量化对类别预测重要的概念演化的算法。通过大规模人工评估和定量实验，我们证明 ConceptEvo 能成功识别不同模型中的概念演化，这些演化不仅可被人类理解，而且对类别预测至关重要。ConceptEvo 适用于现代 DNN 架构（如 ConvNeXt）和经典 DNN（如 VGGs 和 InceptionV3）。
引用
@article{arxiv.2203.16475,
title = {Concept Evolution in Deep Learning Training: A Unified Interpretation Framework and Discoveries},
author = {Haekyu Park and Seongmin Lee and Benjamin Hoover and Austin P. Wright and Omar Shaikh and Rahul Duggal and Nilaksh Das and Kevin Li and Judy Hoffman and Duen Horng Chau},
journal= {arXiv preprint arXiv:2203.16475},
year = {2023}
}
备注
Accepted at CIKM'23