深度神经网络中可解析处理的推断
机器学习
2021-03-10 v1
摘要
自诞生以来，深度学习一直极度依赖反向传播和基于梯度的优化算法来学习权重和偏置参数值。可处理近似高斯推断（TAGI）算法已被证明是反向传播在浅层全连接神经网络中可行且可扩展的替代方案。在本文中，我们展示了TAGI在训练经典深度神经网络架构时如何匹配或超越反向传播的性能。尽管TAGI的计算效率仍低于依赖反向传播的确定性方法，但它在分类任务上优于这些方法，并且在使用更小架构、更少轮次训练的情况下，在信息最大化生成对抗网络（GAN）上匹配其性能。
引用
@article{arxiv.2103.05461,
title = {Analytically Tractable Inference in Deep Neural Networks},
author = {Luong-Ha Nguyen and James-A. Goulet},
journal= {arXiv preprint arXiv:2103.05461},
year = {2021}
}
备注
22 pages, 6 figures