CALRK-Bench：评估韩国法律中的上下文感知法律推理
计算与语言
2026-03-30 v1 人工智能
摘要
法律推理不仅需要法律规则的适用，还需要理解规则运作的语境。然而，现有的法律基准测试主要在固定规范假设下评估规则应用，因此未能捕捉法律判断发生转变或多个规范相互交互的情形。在这项工作中，我们提出了 CALRK-Bench，一个基于韩国法律体系的上下文感知法律推理基准。CALRK-Bench 评估模型是否能够识别法律规范的时间有效性、判断给定案件是否具备充分的法律信息，以及理解法律判断转变背后的原因。该数据集由法律先例和法律咨询记录构建，并由法律专家验证。实验结果表明，即使近期的大语言模型在这三项任务上也始终表现出较低的性能。CALRK-Bench 为评估上下文感知法律推理而非简单的法律知识记忆提供了新的压力测试。我们的代码可在 https://github.com/jhCOR/CALRKBench 获取。
引用
@article{arxiv.2603.26332,
title = {CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law},
author = {JiHyeok Jung and TaeYoung Yoon and HyunSouk Cho},
journal= {arXiv preprint arXiv:2603.26332},
year = {2026}
}
备注
15 pages