凭外表就能判断吗？审计与干预视觉语言模型以监狱判决
人工智能
2025-10-02 v1 计算机与社会
摘要
大型语言模型（LLM）已被广泛用于基于案例报告和犯罪史记录的法律判决预测任务。然而，随着大型视觉语言模型（VLM） availability 的增长，法律判决预测系统现在可以利用囚犯的图片以及案件报告/犯罪史记录进行判断。本工作对单独的 VLM 在监狱判决预测任务中的效率进行审计。我们观察到在多个交叉组和模型中，性能较差，且 \textit{错误地以非常高的置信度拒绝了值得获得保释的个体}。我们设计了不同的干预算法，首先通过 RAG 管道包含法律先例，然后通过创新方案对 VLM 进行微调。我们展示了这些干预在监狱判决预测方面显著提升了性能。我们的工作为在未来设计更智能的 VLM 干预提供了道路，防止它们被部署用于实际的法律判决预测。
引用
@article{arxiv.2510.00088,
title = {Judging by Appearances? Auditing and Intervening Vision-Language Models for Bail Prediction},
author = {Sagnik Basu and Shubham Prakash and Ashish Maruti Barge and Siddharth D Jaiswal and Abhisek Dash and Saptarshi Ghosh and Animesh Mukherjee},
journal= {arXiv preprint arXiv:2510.00088},
year = {2025}
}