分而治之黑箱为可解释模型混合：路由、解释、重复
机器学习
2023-07-13 v2 计算机视觉与模式识别
计算机与社会
摘要
机器学习模型设计要么从可解释模型出发，要么从黑箱出发并在事后进行解释。黑箱模型灵活但难以解释，而可解释模型本身具有可解释性。然而，可解释模型需要大量机器学习知识，且往往不如其黑箱变体灵活、性能也较低。本文旨在模糊黑箱的事后解释与构建可解释模型之间的区别。从黑箱出发，我们迭代地切分出可解释专家混合（MoIE）与残差网络。每个可解释模型专注于样本的一个子集，并使用一阶逻辑（FOL）对其进行解释，提供对黑箱概念的基本推理。我们将剩余样本通过灵活的残差进行路由。我们在残差网络上重复该方法，直到所有可解释模型解释了所需比例的数据。我们的大量实验表明，我们的路由、解释和重复方法（1）通过MoIE识别出具有高浓度概念完备性的多样化实例特定概念，且不牺牲性能；（2）通过残差识别出相对“更难”解释的样本；（3）在测试时干预中显著优于按设计可解释的模型；（4）修复了原始黑箱学到的捷径。MoIE的代码公开于：\url{https://github.com/batmanlab/ICML-2023-Route-interpret-repeat}
引用
@article{arxiv.2307.05350,
title = {Dividing and Conquering a BlackBox to a Mixture of Interpretable Models: Route, Interpret, Repeat},
author = {Shantanu Ghosh and Ke Yu and Forough Arabshahi and Kayhan Batmanghelich},
journal= {arXiv preprint arXiv:2307.05350},
year = {2023}
}
备注
appeared as v5 of arXiv:2302.10289 which was replaced in error, which drifted into a different work, accepted in ICML 2023