面向差分隐私语言模型的比例规律
机器学习
2025-02-03 v1 密码学与安全
摘要
比例规律已成为大语言模型（LLM）训练的重要组成部分，能够预测通过规模获得的性能提升，并为避免高昂成本的超参数选择提供指导。LLM 还依赖大规模高质量训练数据集，其中一些数据来源于（有时涉及敏感信息的用户数据）。在此类敏感用户数据上训练模型需要谨慎的隐私保护，如差分隐私（DP）。然而，DP 训练的动态机制显著不同，因此其比例规律尚未完全理解。本文建立了能够准确建模 DP LLM 训练细节的比例规律，为计算-隐私-效用之间的全方位权衡提供了完整图景，并在许多情境下确定最优训练配置。
引用
@article{arxiv.2501.18914,
title = {Scaling Laws for Differentially Private Language Models},
author = {Ryan McKenna and Yangsibo Huang and Amer Sinha and Borja Balle and Zachary Charles and Christopher A. Choquette-Choo and Badih Ghazi and George Kaissis and Ravi Kumar and Ruibo Liu and Da Yu and Chiyuan Zhang},
journal= {arXiv preprint arXiv:2501.18914},
year = {2025}
}