通过张量分解探察持续学习模型内部表征的变化
机器学习
2024-08-20 v1
摘要
持续学习（CL）促进了多种方法的开发，旨在跨顺序学习整合先前知识。然而，这些方法的评估主要关注最终输出，如预测类别准确率的变化，忽略了模型内部表征遗忘的问题。本文提出一种基于表征的评估框架，用于CL模型。该方法涉及收集持续学习过程中各阶段的内部表征，并构建三维张量。通过将来自多个输入和模型“快照”的表征（如层激活）堆叠形成张量。通过进行张量分量分析（TCA），旨在揭示内部表征如何演化的有意义模式，期望凸显所考察CL策略的优势或不足。我们在不同模型架构和基于重要性的持续学习策略上进行分析，采用精选任务选择。尽管我们的ethods的结果反映了各种CL策略之间性能差异，但我们发现该方法并未直接揭示神经元的专门化聚类，也未能立即理解滤波器的演化。我们认为该方法的规模缩小版本将提供关于使用TCA研究持续学习动态的优势与缺陷的见解。
引用
@article{arxiv.2405.03244,
title = {Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition},
author = {Nishant Suresh Aswani and Amira Guesmi and Muhammad Abdullah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:2405.03244},
year = {2024}
}