大型语言模型与生成模型在法律案件判决摘要中的适用性研究
计算与语言
2024-07-23 v2 人工智能
摘要
法律案件判决摘要的自动化处理——这些文本往往冗长且复杂——传统上尝试通过提取式摘要模型实现。近年来，包括抽象式摘要模型和大型语言模型（LLM）在内的生成模型因其热度日益增长。本文探讨了此类模型在法律案件判决摘要中的适用性。我们对使用各种领域特定抽象式摘要模型和通用领域LLM，以及提取式摘要模型，对来自英国（UK）最高法院和印度（IN）最高法院的法律案件判决进行了评估，并测试生成摘要的质量。我们还对第三组来自美国（US）政府报告的法律文件进行了实验。结果表明，抽象式摘要模型和LLM通常优于传统评估摘要质量的提取方法。然而，深入分析显示生成模型输出存在不一致性和幻觉现象，我们探索了减少摘要中幻觉和不一致性的方法。总体而言，本次调查表明，需进一步提高抽象模型和LLM在法律案件判决摘要中可靠性。目前，人类在环技术更适合用于手动检查以识别生成摘要中的不一致性。
引用
@article{arxiv.2407.12848,
title = {Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization},
author = {Aniket Deroy and Kripabandhu Ghosh and Saptarshi Ghosh},
journal= {arXiv preprint arXiv:2407.12848},
year = {2024}
}
备注
Accepted at Artificial Intelligence and Law, Springer, 2024