作为税务律师的大语言模型：法律能力涌现的案例分析
计算与语言
2023-06-13 v1 人工智能
计算机与社会
摘要
更好地理解大语言模型（LLMs）的法律分析能力，有助于提升法律服务效率、治理人工智能，并利用LLMs识别法律中的不一致之处。本文探讨LLM在应用税法方面的能力。我们选择这一法律领域，是因为其具有允许我们跨数千个示例建立自动验证流水线的结构，需要逻辑推理与数学技能，并能使我们以关涉公民与公司现实经济生活的方式测试LLM能力。我们的实验展示了涌现的法律理解能力，在OpenAI每一次后续模型发布中性能均有所提升。我们尝试检索并利用相关法律依据，以评估向LLM提供额外法律上下文的影响。少样本提示（呈现问答对示例）也被发现能显著增强最先进模型GPT-4的性能。研究结果表明，LLMs特别是在结合提示增强与正确法律文本时，可达到高水平的准确性，但尚未达到专家税务律师的水平。随着LLMs持续进步，其自主推理法律的能力可能对法律职业与人工智能治理产生重大影响。
引用
@article{arxiv.2306.07075,
title = {Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence},
author = {John J. Nay and David Karamardian and Sarah B. Lawsky and Wenting Tao and Meghana Bhat and Raghav Jain and Aaron Travis Lee and Jonathan H. Choi and Jungo Kasai},
journal= {arXiv preprint arXiv:2306.07075},
year = {2023}
}