深度回声状态网络用于时间序列预测、图像与视频分类的事后可解释性研究
机器学习
2021-02-18 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
自诞生以来,储层计算范式下的学习技术已展现出对其他方法所需计算开销之外的循环系统的强大建模能力。其中,不同变体的回声状态网络长期以来吸引了众多关注,主要因其学习算法的简洁性与计算高效性。然而,这些优势并不能弥补回声状态网络仍是黑盒模型、其决策难以向大众解释的事实。本工作通过对应用于时间序列、图像和视频数据学习任务的回声状态网络进行可解释性研究来解决此问题。具体而言,该研究提出了三种不同技术,能够引出关于这些循环模型所掌握知识的可理解信息,即潜在记忆、时间模式和像素缺失效应。潜在记忆解决与储层规模对模型存储时间信息能力的影响相关的问题,而时间模式揭示了模型随时间捕获的循环关系。最后,像素缺失效应旨在评估当回声状态网络模型用于图像和视频分类时给定像素缺失的影响。我们在三个不同的适用领域展示了我们提出的技术套件的优势:时间序列建模、图像,以及相关文献中首次涉及的视频分类。我们的结果表明,所提出的技术不仅允许对这些模型工作方式形成知情理解,而且可作为能够检测数据固有问题(例如隐藏偏置的存在)的诊断工具。
引用
@article{arxiv.2102.08634,
title = {On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification},
author = {Alejandro Barredo Arrieta and Sergio Gil-Lopez and Ibai Laña and Miren Nekane Bilbao and Javier Del Ser},
journal= {arXiv preprint arXiv:2102.08634},
year = {2021}
}
备注
22 pages, 9 figures, 3 tables. Currently under review