基于自适应提示调优的大模型无学习方法
机器学习
2024-04-18 v1 人工智能
密码学与安全
摘要
为应对机器学习中日益增长的隐私保护需求，我们提出了一种新型且高效的大模型无学习方法，称为LM Eraser。现有无学习研究受限于数据 entanglement 和复杂模型架构，导致大规模模型计算成本极高。LM Eraser 采用分治策略，结合提示调优架构以隔离数据影响。训练数据集被划分为公共数据和私有数据。公共数据用于训练模型主干；私有数据基于其多样性进行自适应聚类，每个聚类单独优化一个提示。这种自适应提示调优机制降低了无学习成本，同时保持模型性能。实验表明，LM Eraser 在无学习成本上实现了约100倍的降低，且不损害准确性。我们的代码可用于：https://github.com/lmeraser/lmeraser
引用
@article{arxiv.2404.11056,
title = {LMEraser: Large Model Unlearning through Adaptive Prompt Tuning},
author = {Jie Xu and Zihan Wu and Cong Wang and Xiaohua Jia},
journal= {arXiv preprint arXiv:2404.11056},
year = {2024}
}