DECIDER：利用基础模型先验提升模型失效检测与解释
计算机视觉与模式识别
2024-08-02 v1
摘要
可靠地检测部署的机器学习模型在给定输入上可能失效的时机，对确保安全运行至关重要。本文提出了 DECIDER（Debiasing Classifiers to Identify Errors Reliably，去偏化分类器以可靠识别错误）方法，利用大语言模型（LLM）和视觉语言模型（VLM）的先验知识，用于检测图像分类模型的失效。DECIDER 利用 LLM 指定任务相关的核心属性，通过 VLM 将其视觉特征对齐到这些核心属性，从而构建一个“去偏化”版本的分类器，并通过衡量原始模型与去偏化模型之间的不一致性来检测潜在失效。除了主动识别模型将失效的样本外，DECIDER 还通过一种新颖的属性消除策略提供人类可解释的失效解释。通过在涵盖子群迁移（虚假关联、类别不平衡）和协变量迁移（人工噪声、域迁移）的多样化基准测试上的大量实验，DECIDER 在失败检测性能上始终实现了最前沿的水平，在总体 Matthews 相关系数、失败召回率和成功召回率等指标上均显著优于基线方法。我们的代码可在 \url{https://github.com/kowshikthopalli/DECIDER/} 访问。
引用
@article{arxiv.2408.00331,
title = {DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation},
author = {Rakshith Subramanyam and Kowshik Thopalli and Vivek Narayanaswamy and Jayaraman J. Thiagarajan},
journal= {arXiv preprint arXiv:2408.00331},
year = {2024}
}
备注
Accepted at ECCV (European Conference on Computer Vision) 2024