通过监督式分层概念学习消除硬概念瓶颈模型中的信息泄露
机器学习
2024-02-12 v1 人工智能
摘要
概念瓶颈模型旨在通过用人类可理解的概念连接特征和标签，来提供可解释和可干预的预测。尽管近期的 CBMs 展现出可观的潜力，但它们存在信息泄露问题，即超出概念的意外信息（无论概念以概率还是二元状态表示时）泄露到后续的标签预测中。因此，不同的类别通过不可区分的概念被错误分类，破坏了 CBMs 的解释和干预能力。本文通过在概念预测中引入标签监督并构建分层概念集来缓解信息泄露问题。据此，我们提出了一种新的 CBMs 范式，即 SupCBM，它通过预测的概念和精心设计的干预矩阵来实现标签预测。SupCBM 专注于与预测标签最相关的概念，并且仅在不同概念出现时才区分类别。我们的评估表明，SupCBM 在多个数据集上优于 SOTA CBMs。它还表现出在不同骨干模型之间更好的泛化性。通过对不同 CBMs 中信息泄露的适当量化，我们证明 SupCBM 显著减少了信息泄露。
引用
@article{arxiv.2402.05945,
title = {Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning},
author = {Ao Sun and Yuanyuan Yuan and Pingchuan Ma and Shuai Wang},
journal= {arXiv preprint arXiv:2402.05945},
year = {2024}
}