LegalBench：构建法律推理协作基准的初步探索
人工智能
2022-09-14 v1
摘要
基础模型能否被引导执行涉及法律推理的任务？我们认为，构建回答该问题的基准将需要计算机科学与法律界之间持续的协作努力。为此，这篇短文有三个目的。首先，我们描述 IRAC——法律学者用于区分不同类型法律推理的框架——如何指导面向基础模型的基准构建。其次，我们呈现一组依据该框架构建的 44 个任务的种子集。我们讨论初步发现，并强调新任务的方向。最后，受开放科学运动启发，我们呼吁法律和计算机科学界通过贡献新任务加入我们的努力。该工作正在进行中，我们的进展可在此追踪：https://github.com/HazyResearch/legalbench。
引用
@article{arxiv.2209.06120,
title = {LegalBench: Prototyping a Collaborative Benchmark for Legal Reasoning},
author = {Neel Guha and Daniel E. Ho and Julian Nyarko and Christopher Ré},
journal= {arXiv preprint arXiv:2209.06120},
year = {2022}
}
备注
13 pages, 7 tables