瓶中之语：用于可解释图像分类的语言模型引导概念瓶颈
计算机视觉与模式识别
2023-04-27 v2 计算与语言
摘要
概念瓶颈模型（CBM）是内在可解释的模型，将模型决策分解为人类可读的概念。它们使人们易于理解模型为何失败，这是高风险应用的关键特性。CBM 需要手动指定概念，且常逊于黑盒对应模型，阻碍了广泛采用。我们解决了这些缺陷，并首次展示如何构建无需手动指定、与黑盒模型精度相近的高性能 CBM。我们的方法，语言引导瓶颈（LaBo），利用语言模型 GPT-3 定义可能瓶颈的大空间。给定问题域，LaBo 使用 GPT-3 生成关于类别的事实性句子以形成候选概念。LaBo 通过一种新颖的子模效用高效搜索可能瓶颈，该效用促进选择有区分度且多样的信息。最终，GPT-3 的句子概念可使用 CLIP 对齐到图像，以形成瓶颈层。实验表明 LaBo 是视觉识别重要概念的高效先验。在 11 个多样数据集的评估中，LaBo 瓶颈在少样本分类上表现出色：在 1 shot 下比黑盒线性探针准确率高 11.7%，且在更多数据下相当。总体而言，LaBo 证明内在可解释模型可被广泛部署，且达到与黑盒方法相似或更好的性能。
引用
@article{arxiv.2211.11158,
title = {Language in a Bottle: Language Model Guided Concept Bottlenecks for Interpretable Image Classification},
author = {Yue Yang and Artemis Panagopoulou and Shenghao Zhou and Daniel Jin and Chris Callison-Burch and Mark Yatskar},
journal= {arXiv preprint arXiv:2211.11158},
year = {2023}
}
备注
Published in CVPR 2023, 18 pages, 12 figures, 16 tables