大型语言模型对法律问题提供不稳定的答案
计算与语言
2025-02-11 v1 计算机与社会
摘要
如果一个大型语言模型（LLM）在多次被问及相同问题时得出相同的结论，则称其为稳定的。我们发现，像gpt-4o、claude-3.5和gemini-1.5这样的领先LLMs在回答困难的法律问题时是不稳定的，即使通过将温度设置为0使其尽可能具有确定性。我们整理并发布了一个包含500个法律问题的新数据集，这些问题提炼自真实案例，涉及两方当事人，包含事实、相互竞争的法律论点，以及哪一方应胜诉的问题。当被提供完全相同的问题时，我们观察到LLMs有时会说一方应胜诉，而其他时候则说另一方应胜诉。这种不稳定性对日益增多的法律人工智能产品、法律流程以及依赖这些LLMs的律师具有重要影响。
引用
@article{arxiv.2502.05196,
title = {LLMs Provide Unstable Answers to Legal Questions},
author = {Andrew Blair-Stanek and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2502.05196},
year = {2025}
}
备注
6 pages