关于 Stein 变分神经网络集成方法的研究
机器学习
2021-06-23 v2 机器学习
摘要
深度神经网络集成近年来取得了巨大成功，但它们并未提供恰当的贝叶斯解释。此外，虽然这些方法允许对多个假设上的预测进行平均，却无法保证集成的多样性，导致函数空间中出现冗余解。相比之下，基于粒子的推断方法（如 Stein 变分梯度下降（SVGD））提供了贝叶斯框架，但依赖于核的选择来衡量集成成员之间的相似性。在本工作中，我们研究了在权重空间、函数空间以及混合设置下运行的不同 SVGD 方法。我们从理论性质上将 SVGD 方法与其他基于集成的方法进行比较，并评估它们在合成与真实世界任务上的经验性能。我们发现，使用函数核与混合核的 SVGD 能够克服深度集成的局限性，它改善了函数多样性与不确定性估计，并更接近于真实的贝叶斯后验。此外，我们表明，与使用标准确定性更新相比，使用随机 SVGD 更新可进一步提升性能。
引用
@article{arxiv.2106.10760,
title = {On Stein Variational Neural Network Ensembles},
author = {Francesco D'Angelo and Vincent Fortuin and Florian Wenzel},
journal= {arXiv preprint arXiv:2106.10760},
year = {2021}
}