分层变分自编码器中潜变量间的信息权衡

变分自编码器（VAEs）最初（Kingma & Welling, 2014）是作为执行近似贝叶斯推断的概率生成模型而被提出的。$\beta$-VAEs（Higgins et al., 2017）的提出打破了这一解释，并通过引入允许实践者在潜表示的“信息量”（“比特率”）与重建数据的失真度之间进行权衡的目标函数，将 VAEs 推广至生成建模之外的应用领域（如表示学习、聚类或有损数据压缩）（Alemi et al., 2018）。本文中，我们在分层 VAEs（即具有多于一层潜变量的 VAEs）的背景下重新考量这一率/失真权衡。我们确定了一类通用的推断模型，可将其率拆分为各层的贡献，进而独立调节。我们推导了下游任务性能作为各层率的函数理论界，并在大规模实验中验证了理论发现。我们的结果为实践者针对给定应用应瞄准率空间中哪一区域提供了指导。