德国雇佣合同中的 LLM 法律从属关系

法律工作以其文本密集和资源密集型特征为特征，这为 NLP 研究带来了独特的挑战和机遇。尽管数据驱动的方法取得了进展，但其解释性和可信度的缺乏限制了其在动态法律环境中的应用。为解决这些问题，我们与法律专家合作扩展了一个现有数据集，并探索了大型语言模型 (LLM) 和 in-context 学习来评估德国雇佣合同条款的合法性。我们的工作评估了不同 LLM 在三个法律情境变体下的能力：无法律情境、法律法规和法院裁决的全文来源，以及这些（称为考试指南）的提炼版本。结果表明，全文来源中等程度地改进了性能，而考试指南显著提高了 void 条款的召回率和加权 F1 分数，达到 80\%。尽管取得了这些进步，LLM 使用全文来源时的性能仍显著低于人类律师。我们贡献了一个扩展后的数据集，包括考试指南、参考法律来源和相应的注释，以及我们的代码和所有日志文件。我们的发现强调了 LLM 在协助律师审查合同合法性方面的潜力，同时也概述了所提方法的局限性。