Concept-Monitor：通过单个神经元理解DNN训练
机器学习
2023-04-27 v1 计算机视觉与模式识别
摘要
在这项工作中，我们提出了一个称为 Concept-Monitor 的通用框架，利用一种新颖的统一嵌入空间和概念多样性度量，自动揭示黑盒 DNN 训练过程。Concept-Monitor 实现了对 DNN 训练过程的可人理解的可视化与指标刻画，促进了透明性以及对 DNN 在训练过程中如何演化的深入理解。受这些发现的启发，我们还提出了一种新的训练正则化器，激励隐藏神经元学习多样化概念，并证明可提升训练性能。最后，我们应用 Concept-Monitor 对包括对抗训练、微调以及基于彩票假设的网络剪枝在内的不同训练范式进行了若干案例研究。
引用
@article{arxiv.2304.13346,
title = {Concept-Monitor: Understanding DNN training through individual neurons},
author = {Mohammad Ali Khan and Tuomas Oikarinen and Tsui-Wei Weng},
journal= {arXiv preprint arXiv:2304.13346},
year = {2023}
}