用于兼顾准确性与可解释性的稀疏局部线性模型神经生成器
机器学习
2021-12-16 v1 机器学习
摘要
出于可靠性考虑，机器学习方法做出的预测能够被人类解释是很重要的。一般而言，深度神经网络（DNNs）能够提供准确的预测，尽管很难解释 DNNs 为何得出这样的预测。另一方面，线性模型易于解释，但其预测性能较低，因为真实世界数据往往本质上是非线性的。为了将 DNNs 的高预测性能与线性模型的高可解释性这两种优势结合到单一模型中，我们提出了稀疏局部线性模型的神经生成器（NGSLLs）。稀疏局部线性模型具有很高的灵活性，因为它们可以逼近非线性函数。NGSLL 使用 DNNs 为每个样本生成稀疏线性权重，这些 DNNs 以每个样本的原始表示（如词序列）及其简化表示（如词袋）作为输入。通过从原始表示中提取特征，权重可以包含丰富的信息以实现高预测性能。此外，预测是可解释的，因为它由简化表示与稀疏权重的内积得到，其中仅有少量权重被 NGSLL 中的门模块选中。在使用真实世界数据集的实验中，我们通过在图像和文本分类任务上评估预测性能并可视化生成的权重，定量和定性地展示了 NGSLL 的有效性。
引用
@article{arxiv.2003.06441,
title = {Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability},
author = {Yuya Yoshikawa and Tomoharu Iwata},
journal= {arXiv preprint arXiv:2003.06441},
year = {2021}
}
备注
11 pages