当前最先进的法律推理模型对溯因推理的支持程度如何?
计算机科学中的逻辑
2023-06-30 v2
摘要
我们考察了法律推理中使用的当前最先进(SOTA)模型对溯因推理任务的支持程度。溯因推理是一种逻辑推断形式,其中从一组观察中形成假设,并用该假设来解释这些观察。形成此类假设的能力对律师和法律学者十分重要,因为它有助于他们阐述逻辑论证、解释法律并发展法律理论。我们的动机源于这样一种观点:深度学习模型,尤其是大语言模型(LLMs),将很快取代律师,因为它们在与法律文本处理相关的任务上表现良好。但我们认为,要做到这一点,需要某种形式的溯因假设形成。换言之,尽管 LLMs 变得更流行且更强大,我们仍希望研究其溯因推理能力。为实现这一目标,我们首先构建了一个包含 498,697 个样本的、用于溯因推理的逻辑增强数据集,然后用它来评估法律领域一个 SOTA 模型的性能。我们的实验结果表明,尽管这些模型在与法律文本处理某些方面相关的任务上表现良好,但在支持溯因推理任务方面仍存在不足。
引用
@article{arxiv.2304.06912,
title = {How well do SOTA legal reasoning models support abductive reasoning?},
author = {Ha-Thanh Nguyen and Randy Goebel and Francesca Toni and Kostas Stathis and Ken Satoh},
journal= {arXiv preprint arXiv:2304.06912},
year = {2023}
}
备注
Workshop on Logic Programming and Legal Reasoning, @ICLP 2023