法律领域中 LLM 的评估伦理

近年来，利用大语言模型进行自然语言对话的势头不断增长，促使其在各领域被广泛采用。然而，其在应对法律等专门领域特有挑战方面的普遍能力仍受审视。研究者们忽视了将法律伦理纳入模型。我们主张，严格的伦理评估对于确保大语言模型在法律领域的有效整合至关重要，并强调需要评估领域特定能力与领域特定伦理。为此，我们提出了一种新颖的评估方法，利用真实法律案件来评估大语言模型（LLM）的基础语言能力、专门法律知识及法律鲁棒性。我们全面评估的发现对围绕大语言模型在法律领域的适用性与表现的学术论述做出了重大贡献。