JBE-QA：日本司法考试问答数据集用于评估法律领域知识
计算与语言
2025-12-01 v1
摘要
我们介绍JBE-QA，这是一个日本司法考试问答数据集，用于评估大型语言模型的法律知识。JBE-QA源自日本司法考试（2015-2024年）的多选题（tanto-shiki）部分，提供了针对日语法律领域评估的LLM的第一个全面基准。它涵盖民法、刑法和宪法，扩展了此前日语资源仅关注民法的局限。每个问题均分解为独立的真值判断，并包含结构化的上下文字段。数据集包含3,464个项目，标签均衡。我们评估了26个LLM，包括专有、开源权重、日语专用和推理模型。我们的结果显示，启用推理的专有模型表现最佳，宪法问题通常比民法或刑法问题更容易。
引用
@article{arxiv.2511.22869,
title = {JBE-QA: Japanese Bar Exam QA Dataset for Assessing Legal Domain Knowledge},
author = {Zhihan Cao and Fumihito Nishino and Hiroaki Yamada and Nguyen Ha Thanh and Yusuke Miyao and Ken Satoh},
journal= {arXiv preprint arXiv:2511.22869},
year = {2025}
}
备注
Three tables and one figure