BayesJudge：法律判决预测中具有置信度不确定性的贝叶斯核语言建模
机器学习
2024-04-17 v1
摘要
在法律判决预测中，以可靠的置信度进行预测对于负责任的法律人工智能应用至关重要。虽然基于Transformer的深度神经网络（DNN），如BERT，已在法律任务中展现出潜力，但准确评估其预测置信度仍然至关重要。我们提出了一种名为BayesJudge的新型贝叶斯方法，该方法利用深度学习与深度高斯过程之间的协同作用，通过贝叶斯核蒙特卡洛Dropout来量化不确定性。我们的方法通过核函数利用信息丰富的先验和灵活的数据建模，在预测准确性和置信度估计（通过Brier分数衡量）方面均超越了现有方法。对公开法律数据集的广泛评估展示了我们的模型在多种任务上的优越性能。我们还引入了一种最优解决方案，用于自动审查不可靠的预测，从而使模型预测的准确率显著提高，最高可达27%。通过为法官和法律专业人士提供更可靠的信息，我们的工作为构建值得信赖且透明的法律AI应用铺平了道路，这些应用有助于在知识和量化不确定性的基础上做出明智的决策。
引用
@article{arxiv.2404.10481,
title = {BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction},
author = {Ubaid Azam and Imran Razzak and Shelly Vishwakarma and Hakim Hacid and Dell Zhang and Shoaib Jameel},
journal= {arXiv preprint arXiv:2404.10481},
year = {2024}
}