FairJudge：面向公平性与对齐评估的可 abstention 的多模态裁判
计算机视觉与模式识别
2026-05-26 v3 机器学习
摘要
评估文本到图像（T2I）系统需要判断图像是否匹配提示，以及社会显著属性是否被忠实且无不当推论地表示。现有自动化评估器通常依赖面部中心化识别器或对比图像-文本相似度，提供有限的诊断反馈，且常迫使在视觉证据模糊或缺失时作出预测。对于宗教、残障等公平性敏感属性，由于线索可能是上下文相关、间接或刻意未指定的，此类评估器因此可能遗漏细心人类审阅者会注意到的失效模式。我们引入 FairJudge，一种可 abstention 的评估协议，利用指令遵循的多模态 LLM 作为社会属性预测、职业 grounding 和提示-图像对齐的结构化裁判。该协议约束输出为封闭标签集，要求可见证据依据，支持当线索不足时作出 \emph{unspecified} 决策，并将基于 rubric 的对齐判断映射到 。这些约束将 MLLM 裁判从开放式评估转化为可解析、可审计的评估程序。在四个属性预测基准和三个职业/对齐基准上，FairJudge 在性能上优于或补充 CLIP、DeepFace、VIEScore 和 VQAScore。消融实验表明，封闭标签、abstention 以及证据报告是可靠性的核心要素。我们进一步引入 DIVERSIFY 和 DIVERSIFY-Professions 两个资源，用于评估超越面部可见或象征性线索的社会表征和职业 grounding。我们公开代码、提示词、数据集、解析日志以及每张图像的裁判输出，以支持可复现的审计。
关键词
引用
@article{arxiv.2510.22827,
title = {FairJudge: Abstention-Aware Multimodal Judges for Fairness and Alignment Evaluation in Text-to-Image Models},
author = {Zahraa Al Sahili and Maimuna Nowaz and Maryam Fetanat and Ioannis Patras and Matthew Purver},
journal= {arXiv preprint arXiv:2510.22827},
year = {2026}
}