大型语言模型能否预测司法判决结果？
计算与语言
2025-03-03 v3 人工智能
摘要
大型语言模型（LLM）在各个领域的自然语言处理（NLP）中展现出了卓越的能力。然而，它们在诸如阿拉伯语等低资源语言的法律判决预测（LJP）等专业任务中的应用仍有待探索。在这项工作中，我们通过开发一个阿拉伯语 LJP 数据集来填补这一空白，该数据集从沙特阿拉伯商事法院的判决中收集并进行了预处理。我们在零样本、单样本以及使用 LoRA 微调等不同配置下，对最先进的开源 LLM（包括 LLaMA-3.2-3B 和 LLaMA-3.1-8B）进行了基准测试。此外，我们采用了一个综合评估框架，利用 LLM 整合了定量指标（如 BLEU、ROUGE 和 BERT）和定性评估（包括连贯性、法律语言、清晰度等）。结果表明，经过微调的较小模型在特定任务上下文中能够达到与较大模型相当的性能，同时具有显著的资源效率。此外，我们研究了在多样化指令集上微调模型的影响，为开发更具以人为本和适应性的 LLM 提供了有价值的见解。我们已将数据集、代码和模型公开，为未来阿拉伯语法律 NLP 研究提供坚实基础。
引用
@article{arxiv.2501.09768,
title = {Can Large Language Models Predict the Outcome of Judicial Decisions?},
author = {Mohamed Bayan Kmainasi and Ali Ezzat Shahroor and Amani Al-Ghraibah},
journal= {arXiv preprint arXiv:2501.09768},
year = {2025}
}