跨模态反事实解释：揭示主观分类中的决策因素与数据集偏差
计算机视觉与模式识别
2025-12-23 v1 多媒体
摘要
概念驱动的反事实解释通过语义变化来改变分类器的决策，从而解释其决策。在本文中，我们提出了一种新方法，利用跨模态分解性和图像特定概念来创建以自然语言表达的反事实情景。我们将提出的可解释性框架——称为分解与解释（DeX）——应用于图像隐私决策这一具有挑战性的领域，这些决策具有情境性和主观性。该应用使我们能够量化关键场景元素对模型预测的不同贡献。我们通过考虑图像相似性以实现最小扰动以及决策置信度以优先排序有影响力的变化，来识别相关决策因素。该方法评估和比较多样化的解释，并评估解释属性之间的相互依赖性和相互影响。通过利用图像特定概念，DeX 生成以图像为基础、稀疏的解释，显著优于现有方法。重要的是，DeX 作为一个训练自由框架，具有高度灵活性。结果表明，DeX 不仅揭示了影响主观决策的主要贡献因素，还识别了潜在的数据集偏差，允许针对性地采取缓解措施以提高公平性。
引用
@article{arxiv.2512.18864,
title = {Cross-modal Counterfactual Explanations: Uncovering Decision Factors and Dataset Biases in Subjective Classification},
author = {Alina Elena Baia and Andrea Cavallaro},
journal= {arXiv preprint arXiv:2512.18864},
year = {2025}
}