用几何 Jensen-Shannon 散度约束变分推断

我们研究了在变分自编码器中控制散度以进行潜在空间正则化的问题。具体而言，当旨在通过潜在空间 $z\in\mathbb{R}^{n}$（$n\leq m$）重建样本 $x\in\mathbb{R}^{m}$ 时，如何平衡其与对可泛化潜在表示的需求。我们提出了一种基于偏斜几何 Jensen-Shannon 散度（$\textrm{JS}^{\textrm{G}_{\alpha}}$）的正则化机制。受极限情况启发，我们发现了 $\textrm{JS}^{\textrm{G}_{\alpha}}$ 的一种变体，它在分布和散度空间中导致了前向 KL 和反向 KL 之间的直观插值。我们通过低维示例激发了其在 VAE 中的潜在优势，随后展示了定量和定性结果。我们的实验表明，在 $\textrm{JS}^{\textrm{G}_{\alpha}}$-VAE 的背景下，对我们的 $\textrm{JS}^{\textrm{G}_{\alpha}}$ 变体进行偏斜处理，与几种基线 VAE 相比，能带来更好的重建和生成效果。我们的方法完全是无需监督的，并且仅使用一个超参数，该超参数在潜在空间中具有易于解释的意义。