SecPE：面向私密且鲁棒大语言模型的安全提示集成
密码学与安全
2025-02-04 v1 人工智能
摘要
随着大语言模型在普通公众用户中的日益普及，隐私保护和对抗鲁棒性已成为基于大语言模型服务的两个迫切需求，这两者长期以来大多是分开研究的，很少被联合考虑。在本文中，据我们所知，我们是通过紧密整合两个不相关的领域：私有推理和提示集成，来尝试实现鲁棒且私密的大语言模型推理的首批工作之一。前者通过加密大语言模型传输和处理的推理数据来保护用户隐私，而后者通过从多个提示的大语言模型响应中产生聚合输出来增强对抗鲁棒性。尽管各自被广泛认为是有效的，但提示集成的私有推理共同带来了新的挑战，使得现有技术的简单组合效率低下。为了克服这些障碍，我们提出了 SecPE，它为提示集成的核心算法构建模块设计了高效的全同态加密对应方案。我们在 8 个任务上进行了广泛的实验，以评估 SecPE 的准确性、鲁棒性和效率。结果表明，与基线私有推理方法相比，SecPE 保持了较高的干净准确率，并以仅 的效率开销为代价提供了更好的鲁棒性，表明了令人满意的“准确性-鲁棒性-效率”权衡。对于导致提示集成主要减速的加密 Argmax 操作的效率，SecPE 比最先进的同类方案快 35.4 倍，这可能具有独立于本工作的意义。
引用
@article{arxiv.2502.00847,
title = {SecPE: Secure Prompt Ensembling for Private and Robust Large Language Models},
author = {Jiawen Zhang and Kejia Chen and Zunlei Feng and Jian Lou and Mingli Song and Jian Liu and Xiaohu Yang},
journal= {arXiv preprint arXiv:2502.00847},
year = {2025}
}