Fast-NTK：面向大规模模型的参数高效遗忘
机器学习
2023-12-25 v1
摘要
机器学习的快速增长推动了诸如"被遗忘权"等立法倡议，允许用户请求数据删除。作为回应，"机器遗忘"提出了选择性移除不需要的数据，而无需从头重新训练。虽然基于神经正切核（NTK）的遗忘方法在性能上表现出色，但其计算复杂度很高，尤其是对于大规模模型和数据集。我们的工作引入了"Fast-NTK"，一种新颖的基于NTK的遗忘算法，通过引入参数高效的微调方法（例如微调CNN中的批归一化层或视觉Transformer中的视觉提示）显著降低了计算复杂度。我们的实验结果表明，该方法可扩展到更大的神经网络和数据集（例如，8800万参数；5000张图像），超越了先前全模型NTK方法仅限于较小案例（例如，800万参数；500张图像）的限制。值得注意的是，我们的方法保持了与仅在保留集上重新训练的传统方法相当的性能。因此，Fast-NTK可以在深度神经网络中实现实用且可扩展的基于NTK的遗忘。
引用
@article{arxiv.2312.14923,
title = {Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models},
author = {Guihong Li and Hsiang Hsu and Chun-Fu Chen and Radu Marculescu},
journal= {arXiv preprint arXiv:2312.14923},
year = {2023}
}
备注
6 pages, 1 figure