为何避免生成式法律 AI 系统？——幻觉、过度依赖及其对可解释性的影响
人机交互
2026-03-18 v1 计算机与社会
摘要
本文主张，在法律领域部署生成式 AI 系统需要谨慎，由于幻觉和过度依赖的严重风险。本分析的核心是定义生成式法律 AI（GLAI），作为一类专为法律领域设计的生成式 AI 系统的总称，涵盖从文件起草到刑事司法决策支持等应用。不同于传统 AI，GLAI 模型建立在专为统计标记预测而设计的架构之上，而非法律推理，常导致制造幻觉，其中系统优先考虑语言流畅性而非事实准确性。这些幻觉遮蔽了推理过程，而类人化的输出又会鼓励专业人员过度依赖。本文将这些动态置于欧洲 AI 监管框架内，论证制造数据与自动偏见之间的相互作用如何根本性地削弱可解释性原则。本文指出，若无有效机制确保有意义的人类审视， routine adoption（常规采用）GLAI 将对司法独立和基本权利保护构成重大挑战。
引用
@article{arxiv.2603.15937,
title = {Why Avoid Generative Legal AI Systems? Hallucination, Overreliance, and their Impact on Explainability},
author = {Gizem Gültekin Varkonyi},
journal= {arXiv preprint arXiv:2603.15937},
year = {2026}
}