深度集群在实证贝叶斯中的隐含作用

量化神经网络中不确定性是一个高度相关的问题，对于许多应用至关重要。两种主要解决此问题的方法是贝叶斯神经网络 (BNNs) 和深度集群。尽管这两种方法之间存在某些相似之处，但通常被认为缺乏形式上的联系，因而被理解为根本不同的方法。BNNs 因依赖于贝叶斯范式而常被推崇为更严谨的方案，而集群则被视为更随意的做法；然而，深度集群往往在实证上优于 BNNs，尚无令人满意的解释来说明这一原因。本文我们通过表明深度集群以后验分布进行精确的贝叶斯平均，该后验是通过隐式学习的数据依赖性先验获得的来弥合这一鸿沟。换言之，深度集群是贝叶斯的，或者更具体地说，它们实现了一个经验贝叶斯程序，其中先验是从数据中学习得到的。这一视角提供了两项主要好处：(i)它从理论上正式说明深度集群，从而为其强大的实证性能提供解释；(ii)对所学习先验的检查揭示其由点质量的混合物给出——使用此类强先验有助于阐明关于集群的观察现象。总体而言，本工作为深度集群带来了新的理解，这不仅在本身方面具有兴趣，也可能为这些模型的未来实证改进提供启发。