解释以不忘：基于可解释人工智能抵御灾难性遗忘
机器学习
2022-06-23 v4
摘要
像人类自然做到的那样持续处理并保留新信息的能力，是训练神经网络时备受追求的目标。遗憾的是，传统优化算法通常需要在训练时拥有大量可用数据，且在训练完成后针对新数据的更新十分困难。事实上，当出现新数据或新任务时，由于神经网络易遭受灾难性遗忘，先前的进展可能丢失。灾难性遗忘描述的是神经网络在接收新信息后完全遗忘已有知识的现象。我们提出一种称为“通过解释进行训练”的新颖训练算法，其中利用逐层相关性传播（Layer-wise Relevance Propagation），以在基于新数据训练时保留神经网络在先前任务中已学到的信息。该方法在一系列基准数据集及更复杂数据上进行了评估。我们的方法不仅成功在神经网络中保留了旧任务知识，而且比其他最先进方案更具资源效率。
引用
@article{arxiv.2205.01929,
title = {Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI},
author = {Sami Ede and Serop Baghdadlian and Leander Weber and An Nguyen and Dario Zanca and Wojciech Samek and Sebastian Lapuschkin},
journal= {arXiv preprint arXiv:2205.01929},
year = {2022}
}
备注
14 pages including appendix, 5 figures, 2 tables, 1 algorithm listing. v2 update increases figure readability, updates Fig 5 caption, adds our collaborators Dario and An as co-authors v3 brings the preprint in line with the final version accepted for peer-reviewed publication at CD-MAKE 2022. v4 metadata update