审视判例摘要中的偏见：法律数据集还是大语言模型？
计算与语言
2023-12-04 v1 人工智能
摘要
法律数据集的演进以及大语言模型（LLMs）的出现显著改变了法律领域，尤其是在判例判决摘要的生成方面。然而，关于这些摘要中嵌入的潜在偏见，出现了一个关键关切。本研究仔细审视了由法律数据集和大语言模型生成的判例判决摘要中存在的偏见。该研究旨在分析偏见对法律决策的影响。通过探究这些摘要中偏见的准确性、公平性及其影响，本研究有助于更好地理解技术在法律语境中的作用以及对全球司法体系的影响。在本研究中，我们调查了关于性别相关关键词、种族相关关键词、针对妇女的犯罪相关关键词、国家名称和宗教关键词的偏见。研究显示大语言模型和预训练抽象摘要模型的输出中存在有趣的证据表明存在偏见。这些偏见背后的原因需要进一步研究。
引用
@article{arxiv.2312.00554,
title = {Questioning Biases in Case Judgment Summaries: Legal Datasets or Large Language Models?},
author = {Aniket Deroy and Subhankar Maity},
journal= {arXiv preprint arXiv:2312.00554},
year = {2023}
}