面向选择性源任务遗忘的一次性迁移学习
机器学习
2023-08-22 v1 人工智能
计算机视觉与模式识别
摘要
迁移学习被广泛用于训练深度神经网络（DNN）以构建强大的表征。即使在预训练模型被适配到目标任务之后，特征提取器的表征性能在某种程度上仍得以保留。由于预训练模型的性能可被视为所有者的私有财产，寻求对预训练权重泛化性能的唯一权利是自然的。为解决此问题，我们提出一种称为一次性迁移学习（DTL）的迁移学习新范式，其仅丢弃源任务而不降低目标任务性能。为实现知识丢弃，我们提出一种名为梯度碰撞损失（GC loss）的新损失。GC loss 通过使小批量数据的梯度向量朝向不同方向，选择性地遗忘源知识。模型是否成功遗忘源任务由捎带学习准确率（PL accuracy）衡量。PL accuracy 通过在源数据子集或新下游数据上重新训练擦除后的模型来估计知识泄漏的脆弱性。我们表明，采用 GC loss 训练的模型在目标任务上保持性能且 PL accuracy 显著降低，从而证明 GC loss 是解决 DTL 问题的有效方法。
引用
@article{arxiv.2308.09971,
title = {Disposable Transfer Learning for Selective Source Task Unlearning},
author = {Seunghee Koh and Hyounguk Shon and Janghyeon Lee and Hyeong Gwon Hong and Junmo Kim},
journal= {arXiv preprint arXiv:2308.09971},
year = {2023}
}
备注
Accepted to ICCV 2023