基于熵的 ELBO 学习稀疏编码
机器学习
2024-04-11 v2 机器学习
摘要
标准概率稀疏编码假设拉普拉斯先验、从隐变量到观测变量的线性映射以及高斯观测分布。本文推导了用于标准稀疏编码参数学习的纯基于熵的目标函数。这一新颖变分目标具有以下特征：(A) 与 MAP 近似不同，它使用非平凡的 posterior 近似进行概率推断；(B) 与以往非平凡近似不同，新目标是完全解析的；(C) 该目标允许一种新颖且有原则的退火形式。该目标首先通过证明标准 ELBO 目标收敛于熵之和得到，这与近期关于高斯先验生成模型的类似结果一致。随后表明 ELBO 等于熵之和的条件具有解析解，从而导出完全解析的目标。数值实验用于证明利用此类基于熵的 ELBO 进行学习的可行性。我们考察了不同的 posterior 近似，包括具有相关隐变量的高斯分布以及深度 amortized 近似。此外，我们从数值上研究了基于熵的退火，其带来了改进的的学习效果。然而，我们的主要贡献是理论性的，且具有两方面：(1) 对于非平凡 posterior 近似，我们提供了（据作者所知）首个用于标准概率稀疏编码的解析 ELBO 目标；(2) 我们首次展示了如何将近期所证明的 ELBO 向熵和的收敛用于学习。
引用
@article{arxiv.2311.01888,
title = {Learning Sparse Codes with Entropy-Based ELBOs},
author = {Dmytro Velychko and Simon Damm and Asja Fischer and Jörg Lücke},
journal= {arXiv preprint arXiv:2311.01888},
year = {2024}
}