由深度神经网络协同监督的线性模型混合
机器学习
2024-10-08 v2 机器学习
摘要
深度神经网络（DNN）模型在许多领域的应用中取得了非凡的成功，从科学与工程中的学术研究到工业与商业。DNN的建模能力被认为源于模型的复杂性与过参数化，但另一方面也因缺乏可解释性而受到批评。尽管并非对所有应用都成立，但在某些应用中，尤其是经济学、社会科学、医疗健康行业与行政管理决策中，科学家或从业者出于多种原因不愿使用黑盒系统做出的预测。一个原因是研究的主要目的可能是基于预测函数进行发现，例如揭示测量量之间的关系。另一个原因可能是训练数据集不够大，使研究者无法完全确信纯数据驱动的结果。能够检验并解释预测函数将使研究者能将结果与已有知识相联系，或获得关于可探索的新方向的见解。尽管经典统计模型可解释性强得多，其精度却常大幅低于DNN。本文中，我们提出一种方法来填补相对简单可解释模型与DNN之间的鸿沟，从而更灵活地调节可解释性与精度之间的权衡。我们的核心思想是一种由DNN引导训练的判别模型混合。尽管判别模型混合此前已有研究，我们的混合生成方式截然不同。
引用
@article{arxiv.2108.04035,
title = {Mixture of Linear Models Co-supervised by Deep Neural Networks},
author = {Beomseok Seo and Lin Lin and Jia Li},
journal= {arXiv preprint arXiv:2108.04035},
year = {2024}
}