关于贝叶斯神经网络直接损失最小化的性能研究
机器学习
2022-11-16 v1 机器学习
摘要
直接损失最小化（DLM）作为一种伪贝叶斯方法被提出，其动机为正则化损失最小化。与变分推断相比，它将证据下界（ELBO）中的损失项替换为预测对数损失，即评估时使用的同一损失函数。先前工作的若干理论与实证结果表明，DLM 对某些模型可显著优于 ELBO 优化。然而，正如我们在本文中指出的，对于贝叶斯神经网络（BNN）情况并非如此。本文探讨了 DLM 在 BNN 上的实际性能、其失效原因及其与 ELBO 优化的关系，揭示了关于这两种算法的一些有趣事实。
引用
@article{arxiv.2211.08393,
title = {On the Performance of Direct Loss Minimization for Bayesian Neural Networks},
author = {Yadi Wei and Roni Khardon},
journal= {arXiv preprint arXiv:2211.08393},
year = {2022}
}
备注
I Cant Believe It is Not Better Workshop at NeurIPS 2022