零样本模型诊断
计算机视觉与模式识别
2023-03-28 v1 人工智能
计算与语言
机器学习
摘要
在部署深度视觉模型时，必须能够解释这些系统的行为，以确保对其可靠性和公平性的信心。评估深度学习模型的常见方法是构建带有感兴趣属性的标注测试集，并评估其表现。然而，创建均衡的测试集（即对所有重要特征均匀采样）通常耗时、昂贵且易出错。我们试图解决的问题是：能否在没有标注测试集的情况下评估深度学习模型对任意视觉属性的敏感性？本文论证了零样本模型诊断（ZOOM）无需测试集或标注即可实现。为避免对测试集的需求，我们的系统依赖于生成模型与 CLIP。其核心思想是让用户选择一组提示（与问题相关），我们的系统将利用生成模型自动搜索语义反事实图像（即在二分类情形下翻转预测的合成图像）。我们在多个视觉领域的若干视觉任务（分类、关键点检测与分割）上进行了评估，以证明我们方法的可行性。大量实验表明，我们的方法能够生成反事实图像并提供模型诊断的敏感性分析，且无需测试集。
引用
@article{arxiv.2303.15441,
title = {Zero-shot Model Diagnosis},
author = {Jinqi Luo and Zhaoning Wang and Chen Henry Wu and Dong Huang and Fernando De la Torre},
journal= {arXiv preprint arXiv:2303.15441},
year = {2023}
}
备注
Accepted in CVPR 2023