LegalBench.PT：面向葡萄牙语法律领域的基准测试集
计算与语言
2025-02-25 v1
摘要
近期大型语言模型（LLM）在法律领域的应用推动了跨various司法辖区和语言创建基准测试的趋势。然而，尚无基准测试专为葡萄牙语法律体系设计。本文介绍LegalBench.PT——首个覆盖葡萄牙法关键领域的全面法律基准测试。为开发LegalBench.PT，我们首先收集来自真实法律考试的长篇问题与答案，随后利用GPT-4o将其转换为多选、是非和配对格式。生成问题后，通过筛选和处理提升数据集质量。为确保准确性和相关性，我们邀请法律专业人士审核样本问题。尽管问题为合成生成，基于人类创建的考试及严格的筛选与处理方法，仍构成可靠的基准测试，用于评估LLM的法律知识与推理能力。最后，我们评估了主流LLM在LegalBench.PT上的表现，探讨了GPT-4o响应中潜在偏见。我们还评估了葡萄牙律师在部分问题上的表现，以建立模型比较基准并验证测试集有效性。
关键词
引用
@article{arxiv.2502.16357,
title = {LegalBench.PT: A Benchmark for Portuguese Law},
author = {Beatriz Canaverde and Telmo Pessoa Pires and Leonor Melo Ribeiro and André F. T. Martins},
journal= {arXiv preprint arXiv:2502.16357},
year = {2025}
}