印度法律文本理解与推理基准IL-TUR

全球法律体系面临案件和文档指数级增长。亟需发展NLP和ML技术自动处理和理解法律文档以 streamlining 法律体系。然而，评估和比较专为法律领域设计的各种NLP模型具有挑战性。这篇论文通过提出IL-TUR：印度法律文本理解与推理基准来解决这一挑战。IL-TUR包含单语（英语、印地语）和多语（9种印度语言）领域特定任务，这些任务从法律体系的不同角度address对印度法律文档的理解和推理。我们为每个任务提供了基线模型（包括基于LLM的模型），概述了模型与真实答案之间的差距。为促进法律领域的进一步研究，我们创建一个排行榜（地址为: https://exploration-lab.github.io/IL-TUR/），供研究社区上传和比较法律文本理解系统。