SegDiscover：基于无监督语义分割的视觉概念发现
计算机视觉与模式识别
2022-04-26 v1 人工智能
机器学习
摘要
视觉概念发现长期以来被视为提升神经网络可解释性的重要途径，因为一组具有语义意义的概念库将为我们提供构建具备可理解推理过程的机器学习模型的起点。先前方法存在缺陷：要么依赖融入了人类对“有用”物体偏见的标注支持集，要么无法识别单幅图像中出现的多个概念。我们将概念发现任务重新框定为无监督语义分割问题，并提出 SegDiscover，一种从具有复杂场景的图像数据集中无监督地发现语义有意义视觉概念的新框架。我们的方法包含三个重要组成部分：从原始图像生成概念基元，在自监督预训练编码器的潜空间中进行聚类以发现概念，以及通过神经网络平滑进行概念精炼。实验结果表明，我们的方法能发现单幅图像中的多个概念，并在 Cityscapes 与 COCO-Stuff 等复杂数据集上优于最先进的无监督方法。我们的方法还可通过比较不同编码器获得的结果，进一步用作神经网络解释工具。
引用
@article{arxiv.2204.10926,
title = {SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation},
author = {Haiyang Huang and Zhi Chen and Cynthia Rudin},
journal= {arXiv preprint arXiv:2204.10926},
year = {2022}
}