通过深度可视化解释深度神经网络如何遗忘
机器学习
2022-07-26 v3 计算机视觉与模式识别
摘要
解释通常被视为黑盒的深度神经网络的行为至关重要，尤其是在它们如今正被应用于人类生活的各个方面之时。利用可解释机器学习（interpretable ML）的优势，本文提出了一种称为灾难性遗忘剖析器（Catastrophic Forgetting Dissector，简称 CFD）的新工具，用以解释持续学习场景中的灾难性遗忘。我们还基于该工具的观察结果引入了一种称为关键冻结（Critical Freezing）的新方法。在 ResNet 上的实验阐明了灾难性遗忘如何发生，特别展示了这一著名网络的哪些组件正在遗忘。我们的新持续学习算法以显著优势击败了多种近期技术，证明了该研究的能力。关键冻结不仅对抗灾难性遗忘，还揭示了可解释性。
引用
@article{arxiv.2005.01004,
title = {Explaining How Deep Neural Networks Forget by Deep Visualization},
author = {Giang Nguyen and Shuan Chen and Tae Joon Jun and Daeyoung Kim},
journal= {arXiv preprint arXiv:2005.01004},
year = {2022}
}
备注
12 pages, 4 figures, 1 table. arXiv admin note: substantial text overlap with arXiv:2001.01578. Keywords: XAI, Catastrophic Forgetting, Attribution map, Continual Learning and Regularization