无监督模型诊断

确保模型的可解释性和鲁棒性对于深度视觉系统的可靠部署至关重要。当前评估鲁棒性的方法依赖于收集和标注大量的测试集。虽然这是常见做法，但该过程劳动密集且成本高昂，且无法保证对感兴趣属性的充分覆盖。最近，出现了利用用户输入（例如文本）来评估模型脆弱性的模型诊断框架。然而，这种对人类的依赖可能会因特定用户的领域知识而引入偏见和局限性。本文提出了无监督模型诊断（UMO），它利用生成模型在没有任何用户指导的情况下产生语义反事实解释。给定一个可微的计算机视觉模型（即目标模型），UMO 在生成式潜在空间中优化最具反事实的方向。我们的方法识别并可视化语义变化，然后将这些变化与来自广泛文本来源（如字典或语言模型）的属性进行匹配。我们在多个视觉任务（例如分类、分割、关键点检测）上验证了该框架。大量实验表明，我们无监督发现的语义方向能够正确突出虚假相关性，并在没有任何人工干预的情况下可视化目标模型的失败模式。