作为受托人的大语言模型：通过法律标准与人工智能稳健沟通的案例研究
计算与语言
2023-01-31 v2 人工智能
计算机与社会
摘要
人工智能（AI）正承担日益自主的角色，例如作为研究助理浏览网页和管理资金。但为 AI 行为指定目标和限制是困难的。类似于法律合同的各方无法预见其未来关系的每一个潜在“若-则”意外情况，我们无法为所有情形指定期望的 AI 行为。法律标准促进了 inherently vague 且未充分指定目标的稳健沟通。采用法律标准的指令（在语言模型的情形下为“提示”）将使 AI 智能体能够就指令的精神形成共享理解，从而将关于可接受行动的期望推广到世界中未指定的状态。标准具有其他目标指定语言（如自然语言与编程语言）所缺乏的内置上下文。通过对我们从美国法院意见构建的数千个评估标签进行的实证研究，我们证明大语言模型（LLMs）正开始展现出对 AI 智能体最相关的法律标准之一的理解：受托义务。跨模型的性能比较表明，随着 LLMs 持续展现出改进的核心能力，其对法律标准的理解也将持续提升。OpenAI 最新的 LLM 在我们的数据上准确率为 78%，其前一版本准确率为 73%，而其 2020 年 GPT-3 论文中的一个模型准确率为 27%（劣于随机）。我们的研究是迈向一个更广泛地评估 AI 对法律标准理解、并利用法律反馈进行强化学习（RLLF）的框架的初步步骤。
引用
@article{arxiv.2301.10095,
title = {Large Language Models as Fiduciaries: A Case Study Toward Robustly Communicating With Artificial Intelligence Through Legal Standards},
author = {John J. Nay},
journal= {arXiv preprint arXiv:2301.10095},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2209.13020