可解释的专家混合模型
机器学习
2023-05-29 v2
摘要
对可靠模型解释的需求在许多机器学习应用中尤为突出，特别是对于表格数据和时间序列数据，因为其用例常涉及高风险决策。为此，我们引入了一种新颖的可解释建模框架，即可解释专家混合模型（IME），其在许多情况下能达到与“黑盒”深度神经网络（DNNs）相媲美的高精度，并具备有用的可解释能力。IME由一个分配模块和一组专家组成，每个样本被分配给单个专家进行预测。我们基于分配模块和专家均可解释，引入了IME的多种选项。当专家被选为可解释的如线性模型时，IME产生了一种内在可解释的架构，其中IME生成的解释正是预测如何计算的确切描述。除了构成独立的内在可解释架构外，IME还有与现有DNNs集成以为部分样本提供可解释性同时保持DNNs精度的前提。通过在15个表格和时间序列数据集上的广泛实验，IME被证明比单一可解释模型更准确，并在精度上与现有最优DNNs表现相当。在大多数数据集上，IME甚至优于DNNs，同时提供忠实的解释。最后，通过用户研究将IME的解释与常用的事后解释方法进行比较——参与人员在给定IME解释时能更好地预测模型行为，同时认为IME的解释更忠实和可信。
引用
@article{arxiv.2206.02107,
title = {Interpretable Mixture of Experts},
author = {Aya Abdelsalam Ismail and Sercan Ö. Arik and Jinsung Yoon and Ankur Taly and Soheil Feizi and Tomas Pfister},
journal= {arXiv preprint arXiv:2206.02107},
year = {2023}
}