GPT 参加律师资格考试

美国几乎所有司法管辖区都要求通过被称为“律师资格考试（Bar Exam）”的职业执照考试，作为执业法律的先决条件。即便仅为参加考试，大多数司法管辖区要求申请人完成至少七年的中学后教育，包括在有认证的法学院学习三年。此外，大多数应试者还经历数周至数月的进一步的、针对考试的准备。尽管有此显著的时间与资金投入，约五分之一的应试者仍首次尝试未达通过考试所需分数。面对需要如此深度知识的复杂任务，那么我们对最先进的“AI”应有何期待？在本研究中，我们记录了我们对 OpenAI 的 `text-davinci-003` 模型（常被称为 GPT-3.5）在考试的多州多选题（MBE）部分的性能实验评估。虽然我们发现，在我们训练数据的规模下，微调相较于 GPT-3.5 的零样本性能并无益处，但我们确实发现超参数优化和提示工程对 GPT-3.5 的零样本性能有正向影响。在最佳提示与参数下，GPT-3.5 在完整的 NCBE MBE 练习考试中取得 50.3% 的正确率头条成绩，显著超过 25% 的随机猜测基线，并在证据法和侵权法两部分均达到通过率。GPT-3.5 对响应的排序也与正确性高度相关；其前二和前三选择正确率分别为 71% 和 88%，表明非常强的非蕴含性能。虽然我们对这些结果的解释受限于对 LLM 的初生科学理解以及 GPT 的专有性质，我们相信这些结果强烈暗示 LLM 将在不久的将来通过律师资格考试的 MBE 部分。