混合专家模型的差分隐私训练
密码学与安全
2024-02-13 v1 机器学习
摘要
本文探讨了在自然语言处理领域将差分隐私（DP）集成到混合专家（MoE）模型训练中的问题。随着大语言模型（LLM）扩展到数十亿参数并利用海量数据集，它们展现出增强的语言能力和涌现能力。然而，这种增长引发了显著的计算和隐私问题。我们的研究通过探索以计算效率著称的MoE模型的潜力以及作为隐私保护标准的DP的应用，来解决这些问题。我们首次尝试在DP约束下训练MoE模型，应对其架构带来的独特挑战以及DP集成的复杂性。我们的初步实验研究表明，MoE模型可以在DP下有效训练，其性能可与非私有模型相媲美。这项初步研究旨在提供有价值的见解，并激发隐私保护MoE模型领域的进一步研究，为这个不断发展的领域的未来发展奠定基础。
引用
@article{arxiv.2402.07334,
title = {Differentially Private Training of Mixture of Experts Models},
author = {Pierre Tholoniat and Huseyin A. Inan and Janardhan Kulkarni and Robert Sim},
journal= {arXiv preprint arXiv:2402.07334},
year = {2024}
}
备注
Preliminary work presented as a poster at the 5th AAAI Workshop on Privacy-Preserving Artificial Intelligence (PPAI 24)