通过减弱有害扰动来解决大语言模型的有害微调问题
机器学习
2024-09-05 v1 分布式、并行与集群计算
摘要
有害微调攻击对大语言模型的微调即服务构成严重的安全隐患。虽然已提出一些防御措施来缓解此问题，但其性能仍远不理想，且问题的根本原因尚未完全被恢复。为此，本文表明，有害扰动对模型权重的影响可能是对齐失效的可能原因。为减轻有害扰动的负面影响，我们提出了一种称为 Booster 的对齐阶段解决方案。技术上，我们在对齐阶段的优化中附加了一个损失正则项。该正则项确保模型在模拟有害扰动后，其有害损失的减少被减弱，从而缓解随后的微调风险。实证结果表明，Booster 能有效降低微调后模型的有害得分，同时保持下游任务的性能。我们的代码可在 https://github.com/git-disl/Booster 获取。
引用
@article{arxiv.2409.01585,
title = {Buffer-based Gradient Projection for Continual Federated Learning},
author = {Shenghong Dai and Jy-yong Sohn and Yicong Chen and S M Iftekharul Alam and Ravikumar Balakrishnan and Suman Banerjee and Nageen Himayat and Kangwook Lee},
journal= {arXiv preprint arXiv:2409.01585},
year = {2024}
}
备注
A preliminary version of this work was presented at the Federated Learning Systems (FLSys) Workshop @ Sixth Conference on Machine Learning and Systems, June 2023