预训练生成式模型与 LLM 在法律案件判决摘要中的就绪程度如何？
计算与语言
2023-06-16 v2 信息检索
机器学习
摘要
法律案件判决的自动摘要传统上尝试使用抽取式摘要方法。然而近年来，生成式摘要模型因能生成更自然、连贯的摘要而日益流行。法律领域专用的预训练生成式摘要模型现已可用。此外，已知通用领域预训练大语言模型（LLM）（如 ChatGPT）能生成高质量文本并具备文本摘要能力。因此自然会问这些模型是否已就绪，可直接用于自动生成案件判决的生成式摘要。为探究此问题，我们将若干最先进的领域专用生成式摘要模型和通用领域 LLM 应用于印度法院案件判决，并检查所生成摘要的质量。除摘要质量的标准指标外，我们还检查了摘要中的不一致与幻觉。我们发现生成式摘要模型在标准摘要评估指标（如 ROUGE 和 BLEU）上通常比抽取式模型得分略高。然而，我们常在生成的生成式摘要中发现不一致或幻觉信息。总体而言，我们的研究表明，预训练生成式摘要模型和 LLM 尚未就绪用于案件判决摘要的完全自动部署；目前更适宜采用含人工不一致检查的循环人机协作方法。
引用
@article{arxiv.2306.01248,
title = {How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?},
author = {Aniket Deroy and Kripabandhu Ghosh and Saptarshi Ghosh},
journal= {arXiv preprint arXiv:2306.01248},
year = {2023}
}
备注
Accepted for presentation at the 3rd Workshop on Artificial Intelligence and Intelligent Assistance for Legal Professionals in the Digital Workplace (LegalAIIA 2023), co-located with the ICAIL 2023 conference