NoEsis：模块化大语言模型适应中的差分隐私知识传递
密码学与安全
2025-04-28 v1 机器学习
摘要
大型语言模型（LLM）通常在来自各种来源的大量数据上进行训练。即使采用模块化设计（例如混合专家），LLM 也可能在其数据来源上泄露隐私。相反，孤立训练此类模型则不可取地阻碍了泛化。为此，我们提出了 NoEsis 框架，旨在实现模块化、隐私和知识传递三大目标。NoEsis 将差分隐私与一种混合的两阶段参数高效微调相结合，该方法将特定领域的低秩适配器充当专家，同时将通用提示标记充当知识共享的主干。我们在 CodeXGLUE 上的评估结果表明，NoEsis 能够在可证明的隐私保证下实现跨领域的可感知知识传递，并经验性地表现出对成员推断攻击的有效防护。此外，在代码完成任务上，NoEsis 至少弥合了 77% 的准确率差距，从而弥合了非共享基线与非私有基线之间的差距。
引用
@article{arxiv.2504.18147,
title = {NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation},
author = {Rob Romijnders and Stefanos Laskaridis and Ali Shahin Shamsabadi and Hamed Haddadi},
journal= {arXiv preprint arXiv:2504.18147},
year = {2025}
}
备注
ICLR 2025 MCDC workshop