增量学习中针对过往数据集的深度神经网络快速评估
人工智能
2024-05-13 v1
摘要
在包含深度神经网络（DNN）的系统运行期间，训练数据集中未包含的新输入值会被馈入 DNN。在这种情况下，DNN 可能会利用这些新输入值进行增量训练；然而，该训练可能会降低 DNN 对先前获取并用于过往训练的数据集的准确率。有必要评估额外训练对过往数据集准确率的影响。然而，通过测试过往数据集中包含的所有输入值来进行评估非常耗时。因此，我们提出了一种新方法，用于快速评估对过往数据集准确率的影响。在所提出的方法中，通过在训练前运行 DNN 来提取过往数据集的参数值（如权重和偏置）梯度。然后，在训练之后，根据梯度和参数值的更新差异来计算其对过往数据集准确率的影响。为了展示所提方法的有效性，我们给出了在多个数据集上的实验结果。结果表明，所提方法能在恒定时间内估计出额外训练带来的准确率变化。
引用
@article{arxiv.2405.06296,
title = {Fast Evaluation of DNN for Past Dataset in Incremental Learning},
author = {Naoto Sato},
journal= {arXiv preprint arXiv:2405.06296},
year = {2024}
}