中文

错因正确:可解释机器学习技术能否检测虚假相关性?

机器学习 2023-08-09 v2 人工智能 计算机视觉与模式识别

摘要

尽管深度神经网络模型提供了无与伦比的分类性能,它们易于在数据中学习虚假相关性。若测试数据与训练数据来自同一分布,此类对混淆信息的依赖很难通过性能指标检测到。事后解释或内在可解释分类器等可解释ML方法有望识别错误的模型推理。然而,关于许多此类技术是否真正具备该能力的证据并不一致。本文提出一种严格的评估策略,用以评判解释技术正确识别虚假相关性的能力。利用该策略,我们评估了五种事后解释技术和一种内在可解释方法在胸部X光诊断任务中检测三类人工添加混淆因子的能力。我们发现事后技术SHAP以及内在可解释的Attri-Net提供了最佳性能,可用于可靠地识别错误的模型行为。

关键词

引用

@article{arxiv.2307.12344,
  title  = {Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations?},
  author = {Susu Sun and Lisa M. Koch and Christian F. Baumgartner},
  journal= {arXiv preprint arXiv:2307.12344},
  year   = {2023}
}

备注

Accepted to MICCAI 2023