逻辑回归、神经网络与 Dempster-Shafer 理论:一种新视角
机器学习
2019-12-13 v3 机器学习
摘要
我们重新审视逻辑回归及其非线性扩展(包括多层前馈神经网络),指出这些分类器可视为将输入或更高层特征转换为 Dempster-Shafer 质量函数并通过 Dempster 组合规则进行聚合。这些分类器的概率输出是对应于底层组合质量函数的归一化似真度。该质量函数比输出概率分布包含更多信息。特别地,它使得区分证据缺乏(当无任何特征提供判别信息)与证据冲突(当不同特征支持不同类别)成为可能。质量函数的这种表达力使我们能深入理解各输入特征在逻辑回归中的作用,并解释多层神经网络中隐藏单元的输出。它还使得使用替代决策规则(如区间优势)成为可能,当可用证据未明确指向单一类别时选出一组类别,从而以更高的不精确性换取更低的错误率。
引用
@article{arxiv.1807.01846,
title = {Logistic Regression, Neural Networks and Dempster-Shafer Theory: a New Perspective},
author = {Thierry Denoeux},
journal= {arXiv preprint arXiv:1807.01846},
year = {2019}
}