深入探究概念瓶颈模型的干预过程
机器学习
2023-07-04 v3
摘要
概念瓶颈模型(CBMs)是一类可解释的神经网络模型,它根据给定输入的高级概念预测目标响应。与标准的端到端模型不同,CBMs允许领域专家在测试时对预测的概念进行干预并纠正任何错误,从而最终做出更准确的任务预测。尽管这种可干预性提供了强大的控制途径,但干预过程的许多方面仍有待探索。在这项工作中,我们开发了多种选择干预概念的方法以提高干预有效性,并对它们在不同情况下的演变进行了深入分析。具体而言,我们发现在现实环境中,在相同干预次数下,知情的干预策略与当前基线相比可以将任务误差降低十倍以上,然而,当考虑到不同的干预粒度时,这会有相当大的变化。我们通过全面的评估验证了我们的发现,这些评估不仅在标准真实数据集上进行,还在我们基于一组不同因果图生成的合成数据集上进行。我们进一步发现了当前实践中的一些主要缺陷,如果不加以妥善解决,将引发对干预过程的可靠性和公平性的担忧。
引用
@article{arxiv.2302.14260,
title = {A Closer Look at the Intervention Procedure of Concept Bottleneck Models},
author = {Sungbin Shin and Yohan Jo and Sungsoo Ahn and Namhoon Lee},
journal= {arXiv preprint arXiv:2302.14260},
year = {2023}
}
备注
ICML 2023