面向法规简化的 AI：一个全面的州法律语料库与劳动基准

AI 在法律领域的新兴用例之一是代码简化：精简、提炼和简化复杂的法规或监管语言。美国某个州声称已使用 AI 消除了其州法典的三分之一。然而，我们缺乏对此类方法的准确性、可靠性和风险的系统性评估。我们引入了 LaborBench，一个旨在评估该领域 AI 能力的问答基准数据集。我们利用一个独特的数据源来创建 LaborBench：一个由美国劳工部律师团队每年更新的数据集，他们耗时六个月，在 101 个维度上汇编了 50 个州失业保险法律的差异，最终形成一份 200 页的表格出版物。受我们与一个美国州合作探索使用大语言模型（LLMs）简化该领域（其复杂性尤为突出）法典的启发，我们将劳工部的出版物转化为 LaborBench。这为 AI 执行、提炼和提取现实法律与监管信息的能力提供了一个独特的基准。为了评估检索增强生成（RAG）方法的性能，我们还汇编了 StateCodes，一个新颖且全面的州法律与监管语料库，大小为 8.7 GB，从而能够对州法典进行更系统的研究。然后，我们在此数据上对信息检索和最先进的大语言模型的性能进行了基准测试，并表明，尽管这些模型作为代码简化的初步研究工具是有帮助的，但其整体准确性远低于所吹捧的 LLMs 作为法规简化端到端流程的承诺。