面向成本有效与自适应的 LLM 抖动与恢复机制框架
密码学与安全
2024-03-13 v1 计算与语言
机器学习
摘要
随着大语言模型（LLM）在实际应用中取得巨大成功，越来越多的用户寻求通过云服务开发和部署他们定制的 LLM。尽管如此，在某些特定领域，仍然存在关于成本和隐私问题与准确性之间的权衡的顾虑。本研究引入一种面向成本有效和自适应的 LLM 抖动调优与恢复机制，命名为 CypherTalk。通过设计 carefully 的水平和垂直抖动算子，我们可以在不牺牲准确性的前提下，使用 Cryptography-based 或 Differential Privacy-based 方法实现与 SOTA 隐私保留 LLM 方案相当的准确性。实验还表明，使用 CypherTalk 框架，用户可以在优化后的抖动算子设置下实现可靠的准确性。据我们了解，这是首个在 LLM 场景中考虑成本以及模型效用与隐私之间的权衡的工作。
引用
@article{arxiv.2403.07283,
title = {A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism},
author = {Zhiyu Chen and Yu Li and Suochao Zhang and Jingbo Zhou and Jiwen Zhou and Chenfu Bao and Dianhai Yu},
journal= {arXiv preprint arXiv:2403.07283},
year = {2024}
}
备注
9 pages