迈向瑞士判决预测的可解释性与公平性：在多语言数据集上的基准测试
计算与语言
2024-02-28 v1 人工智能
机器学习
摘要
在法律判决预测 (LJP) 系统中评估可解释性对于构建可信且透明的系统至关重要，特别是考虑到这些系统依赖于可能缺乏法律相关性或涉及敏感属性的因素。本研究利用瑞士判决预测 (SJP) 这一唯一可用的多语言 LJP 数据集，深入探讨了 LJP 模型中的可解释性与公平性领域。我们为德语、法语和意大利语的 108 个案例整理了法律专家“支持”和“反对”判决的全面理由集合。通过采用基于遮挡的可解释性方法，我们评估了最先进的单语和多语基于 BERT 的 LJP 模型的可解释性性能，以及通过数据增强和跨语言迁移等技术开发、展现出预测性能提升的模型。值得注意的是，我们的发现表明，预测性能的提升并不一定对应于可解释性性能的增强，这凸显了从可解释性角度评估模型的重要性。此外，我们引入了一种新颖的评估框架——下级法院插入 (LCI)，它允许我们量化下级法院信息对模型预测的影响，从而暴露当前模型的偏差。
引用
@article{arxiv.2402.17013,
title = {Towards Explainability and Fairness in Swiss Judgement Prediction: Benchmarking on a Multilingual Dataset},
author = {Santosh T. Y. S. S and Nina Baumgartner and Matthias Stürmer and Matthias Grabmair and Joel Niklaus},
journal= {arXiv preprint arXiv:2402.17013},
year = {2024}
}
备注
Accepted at LREC-COLING 2024