CaseGen：面向多阶段法律案件文件生成的基准

法律案件文件在司法程序中发挥着关键作用。随着案件数量的持续增长，依赖手动起草法律案件文件的做法正面临日益严峻的挑战。大型语言模型（LLM）的发展为自动化文档生成提供了可行的解决方案。然而，现有基准未能充分捕捉实际场景下起草法律案件文件所涉及的复杂性。为填补这一空白，我们引入CaseGen——面向中文法律领域的多阶段法律案件文件生成基准。CaseGen基于500个由法律专家标注的真实案例样本，覆盖七个关键案件章节。它支持四个关键任务：撰写辩护声明、编写审判事实、构思法律推理和生成判决结果。迄今为止，CaseGen是首个针对法律案件文件生成设计评估LLM的基准。为确保准确且全面的评估，我们设计了LLM-as-a-judge评估框架，并通过人工标注验证了其有效性。我们评估了多个广泛使用的通用领域LLM和法律专用LLM，揭示了其在案件文件生成方面的局限性，并指出了潜在改进的方向。本工作标志着向更有效的法律案件文件自动化起草框架迈出了一步，为AI在法律领域可靠应用铺平了道路。该数据集和代码已公开于https://github.com/CSHaitao/CaseGen。