VFLAIR-LLM：面向 LLM 分布式学习的综合框架与基准
密码学与安全
2025-08-06 v1 人工智能
摘要
随着大型语言模型(LLM)的发展，LLM 应用已扩展到越来越多的领域。然而，面临数据隐私顾虑的用户无法直接利用 LLM API，而私人部署又面临巨大的计算需求。这在实现受限本地资源下的安全 LLM 适应方面构成了重大挑战。为此，分散学习(SL)等协作学习方法提供了一种高效且隐私保护的 LLM 适应私有领域的解决方案。本研究我们引入 VFLAIR-LLM（可在 https://github.com/FLAIR-THU/VFLAIR-LLM 获取），一个可扩展且轻量级的 LLM 分布式学习框架，使受资源受限环境下的 LLM 推理和微调具备隐私保护能力。我们的库提供两种 LLM 分区设置，支持三种任务类型和 18 个数据集。此外，我们提供用于实现和评估攻击与防御的标准模块。在各种 LLM 分布式学习(SL-LLM)设置下，我们对 5 种攻击和 9 种防御进行基准测试，为实际应用中模型分区配置、防御策略和相关超参数的选择提供具体见解和建议。
引用
@article{arxiv.2508.03097,
title = {VFLAIR-LLM: A Comprehensive Framework and Benchmark for Split Learning of LLMs},
author = {Zixuan Gu and Qiufeng Fan and Long Sun and Yang Liu and Xiaojun Ye},
journal= {arXiv preprint arXiv:2508.03097},
year = {2025}
}
备注
12 pages, 10 figures, published in KDD2025