基于数据集蒸馏的保鲁棒性终身学习
机器学习
2023-03-09 v1 计算机视觉与模式识别
摘要
终身学习(LL)旨在随着数据源持续演化而改进预测模型。该学习范式中的多数工作集中于解决“灾难性遗忘”问题，即在新数据上提升模型准确率与在旧数据上保持准确率之间的著名两难困境。然而，众所周知机器学习(ML)模型可能存在脆弱性，即微小的对抗性输入扰动可欺骗模型产生错误预测。这催生了本文的研究目标——提出一种新型 LL 框架，能够从灾难性遗忘中挽救模型鲁棒性（对抗攻击）。具体而言，我们提出一种新的记忆回放 LL 策略，利用现代双层优化技术确定当前数据的“核心集”（即待记忆的少量数据），以便随时间保持对抗鲁棒性。我们将所得 LL 框架称为“数据高效保鲁棒性终身学习”(DERPLL)。使用 ResNet-18 在 CIFAR-10 数据集上对类增量图像分类评估了 DERPLL 的有效性。实验结果表明，DERPLL 优于传统的核心集引导 LL 基线，并在标准准确率与鲁棒准确率上均取得显著提升。
引用
@article{arxiv.2303.04183,
title = {Robustness-preserving Lifelong Learning via Dataset Condensation},
author = {Jinghan Jia and Yihua Zhang and Dogyoon Song and Sijia Liu and Alfred Hero},
journal= {arXiv preprint arXiv:2303.04183},
year = {2023}
}
备注
Accepted by ICASSP2023 Main Track: Machine Learning for Signal Processing