从法律文本生成可执行决策模型:评估结构化表示
计算与语言
2026-04-21 v1 人工智能
摘要
将法律文本转化为可执行决策逻辑是法律信息学中长期存在的挑战。随着大语言模型(LLMs)的兴起,这一任务重新受到关注,但由于需要大量手动编码和评估,仍然具有挑战性。我们使用一个独特的真实世界数据集,将生产级决策模型与来自荷兰环境与规划法案的法律文本配对。这些模型为 Omgevingsloket 政府平台提供动力,公民可在此平台上检查环境活动的许可要求。我们研究是否存在中间结构化表示可改善基于大语言模型的从法律文本生成可执行决策模型。我们比较四种输入条件:原始法律文本、增强了语义角色标签的文本、增强了输入输出约束的文本,以及两者兼有的文本。我们沿两个维度进行评估:结构评估,通过图核与图的描述性统计与金标准决策模型的相似性;结果评估,通过在预配置的测试情景中执行模型来衡量功能等价性。我们的发现表明,I/O 约束提供了主要性的改进(+37-54% 相似性优于基线),而语义角色标签仅显示有限的改进。结果评估显示,生成的模型在 51-53% 的测试情景中与金标准匹配,尽管生成的模型通常更小更简单。我们发现,大语言模型消除了最高可达 45-55% 节点的冗余传递逻辑。重要的是,结构相似性与结果等价性是互补的:结构相似性并不保证结果等价性,反之亦然。为促进可重复性,我们公开了包含 95 个生产决策模型及其关联法律文本以及所有实验代码的数据集。
引用
@article{arxiv.2604.17153,
title = {From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation},
author = {David Graus},
journal= {arXiv preprint arXiv:2604.17153},
year = {2026}
}
备注
10 pages, 3 figures, accepted to ICAIL 2026