稀疏线性概念发现模型
机器学习
2023-08-22 v1 人工智能
机器学习
摘要
近期 DNNs 的大规模采用，即便在安全关键场景中，已使研究社区焦点转向创建内在可解释模型。概念瓶颈模型（CBMs）是一种流行方法，其中隐藏层与人类可理解概念绑定，允许对网络决策进行调查和纠正。然而，CBMs 通常受制于：（i）性能下降和（ii）因参与每个决策的概念数量过多导致低于预期的可解释性。本工作中，我们提出一种简单却高度直观的可解释框架，基于对比语言图像模型（Contrastive Language Image models）和单一稀疏线性层。与相关工作形成鲜明对比，我们框架中的稀疏性通过有原则的贝叶斯论证实现，即借助数据驱动的伯努利分布推断概念存在。如实验所示，我们的框架不仅在准确率上超越近期 CBM 方法，还产生高每样本概念稀疏性，促进对涌现概念的逐个考察。
引用
@article{arxiv.2308.10782,
title = {Sparse Linear Concept Discovery Models},
author = {Konstantinos P. Panousis and Dino Ienco and Diego Marcos},
journal= {arXiv preprint arXiv:2308.10782},
year = {2023}
}
备注
Accepted @ ICCVW CLVL 2023