FedJudge：联邦法律大语言模型
计算与语言
2024-04-11 v3
摘要
大语言模型（LLMs）在法律智能领域日益受到重视，为辅助法律从业者和外行人士提供了潜在应用。然而，这些法律 LLMs 的集中式训练引发了数据隐私担忧，因为法律数据分布在包含敏感个人信息的各类机构中。本文通过探索将法律 LLMs 与联邦学习（FL）方法相结合来应对这一挑战。通过采用 FL，法律 LLMs 可在设备或客户端本地微调，其参数在中心服务器上聚合与分发，从而在不直接共享原始数据的情况下保障数据隐私。然而，计算与通信开销阻碍了 FL 设定下 LLMs 的全量微调。此外，法律数据的分布偏移降低了 FL 方法的有效性。为此，本文提出首个联邦法律大语言模型（FedJudge）框架，可高效且有效地微调法律 LLMs。具体而言，FedJudge 利用参数高效微调方法在 FL 训练期间仅更新少量附加参数。此外，我们探索持续学习方法，在训练本地客户端时保留全局模型的重要参数，以缓解数据偏移问题。在三个真实世界数据集上的大量实验结果明确验证了 FedJudge 的有效性。代码发布于 https://github.com/yuelinan/FedJudge。
引用
@article{arxiv.2309.08173,
title = {FedJudge: Federated Legal Large Language Model},
author = {Linan Yue and Qi Liu and Yichao Du and Weibo Gao and Ye Liu and Fangzhou Yao},
journal= {arXiv preprint arXiv:2309.08173},
year = {2024}
}
备注
Accepted to DASFAA 2024