在加密合成数据上进行持续预训练以实现隐私保护的大语言模型
密码学与安全
2026-01-13 v2 计算与语言
摘要
在小型、特定领域的语料库上预训练大语言模型时保护敏感数据的隐私构成了一项重大挑战。在这项工作中，我们通过提出一个基于实体的框架，向隐私保护的持续预训练迈出了探索性的一步，该框架合成加密训练数据以保护个人身份信息（PII）。我们的方法构建了一个加权实体图来指导数据合成，并对PII实体应用确定性加密，使LLM能够通过持续预训练编码新知识，同时通过解密密钥授权对敏感数据的访问。我们在有限规模数据集上的结果表明，我们预训练的模型优于基础模型并确保了PII安全，同时与在未加密合成数据上训练的模型相比，表现出适度的性能差距。我们进一步表明，增加实体数量并利用基于图的合成可以提高模型性能，并且加密模型在长检索上下文中保留了指令遵循能力。我们讨论了确定性加密的安全影响和局限性，将这项工作定位为对用于隐私保护LLM的加密数据预训练设计空间的初步探索。我们的代码可在 https://github.com/DataArcTech/SoE 获取。
引用
@article{arxiv.2601.05635,
title = {Continual Pretraining on Encrypted Synthetic Data for Privacy-Preserving LLMs},
author = {Honghao Liu and Xuhui Jiang and Chengjin Xu and Cehao Yang and Yiran Cheng and Lionel Ni and Jian Guo},
journal= {arXiv preprint arXiv:2601.05635},
year = {2026}
}