通过学习深层神经连接层次结构建模不确定性
机器学习
2019-10-29 v2 人工智能
机器学习
摘要
尽管近期取得了重要进展，深度神经网络中的不确定性建模仍是一个开放问题。贝叶斯神经网络是一种有力的解决方案，其中网络权重的先验是一种设计选择，常为正态分布或其他鼓励稀疏性的分布。然而，该先验对输入数据的生成过程无知，可能导致对分布外测试数据产生不当的泛化。我们指出，在给定目标标签的条件下，输入数据与判别函数之间的关系存在混杂因子。我们提出了一种通过对生成网络与判别网络之间共享神经连接模式来建模该混杂因子的方法。该方法引出了一种新的深度架构，其中网络从局部因果结构的后验中采样，并耦合为一个紧凑的层次结构。我们证明，按后验比例从该层次结构中采样网络是高效的，并能够估计各类不确定性。对我们方法的实证评估表明，相较于最先进的校准与分布外检测方法取得了显著改进。
引用
@article{arxiv.1905.13195,
title = {Modeling Uncertainty by Learning a Hierarchy of Deep Neural Connections},
author = {Raanan Y. Rohekar and Yaniv Gurwicz and Shami Nisimov and Gal Novik},
journal= {arXiv preprint arXiv:1905.13195},
year = {2019}
}