一种用于Spike-and-Slab稀疏编码的截断EM方法

我们研究了基于“spike-and-slab”先验的稀疏编码模型的推理和学习。与标准稀疏编码一样，该模型假设独立的潜在源线性组合生成数据点。然而，不同于使用拉普拉斯分布等标准稀疏先验，我们研究应用一种更灵活的“spike-and-slab”分布，该分布独立地建模源贡献的缺失或存在，而不考虑其强度（如果贡献）。我们研究了两种优化spike-and-slab稀疏编码参数的方法：一种新颖的截断EM方法，以及用于比较的基于标准因子变分分布的方法。截断方法可视为以截断后验作为变分分布的变分方法。在源分离应用中，我们发现两种方法在多个标准基准上改进了现有技术，这支持了在相应数据领域使用“spike-and-slab”先验。此外，我们发现截断EM方法在源分离任务上优于标准因子方法——这暗示了因子变分方法中假设后验独立性所带来的偏差。同样，在图像去噪的标准基准上，我们发现截断EM方法优于因子变分方法。因子方法的性能随着隐藏维度的增加而饱和，而截断方法的性能在高噪声水平下改进了现有技术。