面向黑盒大型预训练模型的高效联邦提示微调
机器学习
2023-10-06 v1 人工智能
摘要
随着预训练模型(PTMs)的爆发式发展,为多样化下游应用高效微调这些模型已成为一个关键的研究问题。尽管近期对提示微调(prompt tuning)的探索提供了有前景的途径,三个显著挑战依然存在:(1) 内存约束:开源PTMs规模的持续增长使得微调——即便是其参数的一小部分——对许多从业者而言也具有挑战性。(2) 模型隐私:现有PTMs通常作为公共API服务运行,其参数无法访问以进行有效或定制化的微调。(3) 数据隐私:PTMs的微调需要高质量数据集,这些数据集通常本地化且不向公众共享。为在应对内存约束并保护隐私的同时最优地利用各本地数据集,我们提出联邦黑盒提示微调(Federated Black-Box Prompt Tuning, Fed-BBPT)。这一创新方法不依赖参数架构和私有数据集访问,而是利用一个中央服务器,通过定期聚合协助本地用户协作训练提示生成器。本地用户通过零阶优化器(zero-order optimizer)借助API驱动的学习,无需部署PTM。相较于大规模微调,Fed-BBPT熟练规避了与本地机器上PTM存储和微调相关的内存挑战,同时利用了全面、高质量但私有的训练数据集。在涵盖CV和NLP任务的40个数据集上的详尽评估凸显了我们提出模型的鲁棒性。
引用
@article{arxiv.2310.03123,
title = {Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models},
author = {Zihao Lin and Yan Sun and Yifan Shi and Xueqian Wang and Lifu Huang and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2310.03123},
year = {2023}
}
备注
20 pages, 6 figures, preprint