基于非重叠指数族混合的灵活平均场变分推断

稀疏模型因能在众多不同领域的应用中执行自动变量选择、辅助可解释性并提供正则化而备受青睐。然而，在贝叶斯框架下拟合稀疏模型时，除最简单情形外，解析地获得感兴趣参数的后验分布是不可行的。因此，实践者必须依赖诸如马尔可夫链蒙特卡罗之类的采样算法或变分方法来获得近似后验。平均场变分推断是一种特别简单且流行的框架，通常便于解析推导闭式参数更新。当模型中的所有分布都是指数族成员且条件共轭时，优化方案往往可以手工推导。然而，我证明使用标准平均场变分推断对于具有稀疏诱导先验（如 spike-and-slab）的模型可能无法产生合理结果。幸运的是，这种病态行为可以得到补救，因为我证明了具有非重叠支撑的指数族分布混合构成一个指数族。特别地，任何用于建模稀疏性的弥散指数族与零处点质量的混合都构成一个指数族。此外，这些分布的特定选择保持了条件共轭。我用两个应用来引出这些结果：一个来自统计遗传学，与回归系数上具有 spike-and-slab 先验的广义最小二乘有关；另一个是稀疏概率主成分分析。此处给出的理论结果在这两种例子之外也具有广泛适用性。