ScaleOT：基于动态层替换和选择性秩压缩的隐私-效用可扩展离线调优
计算与语言
2024-12-16 v1 密码学与安全
摘要
离线调优是一种保护模型和数据所有者隐私的大型语言模型(LLM)调优方法，通过与数据所有者共享压缩的模拟器来进行下游任务调优。然而，当前的离线调优方法常常存在适应性下降、高计算成本和有限保护强度的问题，主要由于统一丢弃LLM层或依赖昂贵知识蒸馏所致。为此，我们提出ScaleOT，一种新型的隐私-效用可扩展离线调优框架，有效平衡隐私与效用。ScaleOT引入一种基于强化学习获取每层重要性的层级有损压缩算法。它采用轻量级网络（称为和声器）来替换原始LLM层。通过以不同比例组合重要的原始LLM层和和声器，ScaleOT为不同模型规模生成量身定制的模拟器，以实现更好的隐私保护。此外，我们提出一种秩约简方法进一步压缩原始LLM层，在几乎不影响效用的情况下显著增强隐私。全面实验表明，ScaleOT在几乎不损失离线调优性能的同时，能够获得更好的模型隐私。
引用
@article{arxiv.2412.09812,
title = {ScaleOT: Privacy-utility-scalable Offsite-tuning with Dynamic LayerReplace and Selective Rank Compression},
author = {Kai Yao and Zhaorui Tan and Tiandi Ye and Lichun Li and Yuan Zhao and Wenyan Liu and Wei Wang and Jianke Zhu},
journal= {arXiv preprint arXiv:2412.09812},
year = {2024}
}
备注
accepted by AAAI2025