使用大语言模型预测阿拉伯语法律判决
计算与语言
2023-10-17 v1 人工智能
机器学习
摘要
在错综复杂的法学研究领域，法院判决的分析是司法系统有效运作的基石。预测法院结果的能力有助于法官在决策过程中作出判断，并为律师提供宝贵见解，强化其案件策略方法。尽管意义重大，阿拉伯语法院分析领域仍待充分探索。本文在一个包含 10,813 起商业法院真实案件的数据集上，利用当前 SOTA 大语言模型的先进能力，对阿拉伯语法院判决开展开创性的综合预测分析。通过系统性探索，我们评估了三种流行的基础模型（LLaMA-7b、JAIS-13b 与 GPT3.5-turbo）以及三种训练范式：零样本、单样本与定制微调。此外，我们评估了对原始阿拉伯语输入文本进行摘要和/或翻译的益处。这产生了 14 种模型变体，我们针对其以一系列不同指标（人工评估、GPT 评估、ROUGE 与 BLEU 分数）给出细粒度性能评估。我们表明所有 LLaMA 模型变体均表现有限，而基于 GPT-3.5 的模型以大幅优势超越所有其他模型，超出专用的阿拉伯语中心模型 JAIS 平均分数达 50%。进一步，我们表明除人工评估外所有分数在评估大语言模型于法院判决预测上的性能时均不一致且不可靠。本研究为未来研究铺平道路，弥合计算语言学与阿拉伯语法律分析之间的鸿沟。
引用
@article{arxiv.2310.10260,
title = {Prediction of Arabic Legal Rulings using Large Language Models},
author = {Adel Ammar and Anis Koubaa and Bilel Benjdira and Omar Najar and Serry Sibaee},
journal= {arXiv preprint arXiv:2310.10260},
year = {2023}
}
备注
26 pages