通过深度可视化剖析持续学习中的灾难性遗忘
机器学习
2020-01-08 v2 机器学习
摘要
解释深度神经网络（通常被视为黑箱）的行为至关重要，尤其是当它们如今正被广泛采用到人类生活的各个方面时。借助可解释人工智能的进展，本文提出一种称为 Auto DeepVis 的新技术，用于剖析持续学习中的灾难性遗忘。在通过 Auto DeepVis 调查该困境后，还引入了一种应对灾难性遗忘的新方法，称为关键冻结（critical freezing）。在一个描述生成模型上的实验细致地展示了灾难性遗忘如何发生，特别显示了哪些组件正在遗忘或改变。随后评估了我们技术的有效性；更确切地说，关键冻结在以往任务和后续任务上都取得了优于基线的最佳性能，证明了调查的能力。我们的技术不仅可以作为现有解决方案的补充，以彻底消除终身学习中的灾难性遗忘，而且是可解释的。
引用
@article{arxiv.2001.01578,
title = {Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization},
author = {Giang Nguyen and Shuan Chen and Thao Do and Tae Joon Jun and Ho-Jin Choi and Daeyoung Kim},
journal= {arXiv preprint arXiv:2001.01578},
year = {2020}
}
备注
8 pages, 6 figures, 3 tables