环面自编码器

在神经网络中约束隐变量的分布是一个活跃的研究课题。这在各类生成模型中至关重要，因为我们希望能够在隐空间中的点之间进行插值或从中采样。现代生成式自编码器（AE，如 WAE、SWAE、CWAE）在标准（确定性）AE 上添加正则化项，从而可以强制隐空间服从高斯分布。强制不同的分布，尤其是拓扑非平凡的分布，可能带来一些新的有趣可能性，但这一主题似乎迄今尚未被探索。本文提出一种强制 d 维环面上均匀分布的新方法。我们引入环形弹簧损失（circular spring loss），它强制小批量中的点等间距分布并满足循环边界条件。作为应用示例，我们提出多路径变形（multiple-path morphing）。在角度隐空间均匀分布中，两点间的最小距离测地线成为一条直线，然而环面拓扑允许我们以不同方式选择这样的直线，穿过 $[-\pi,\pi]^d$ 的不同边。可进一步探索的应用包括尝试学习现实中拓扑非平凡的特征空间，例如通过相对角度训练来自动识别图片中物体的 2D 旋转，甚至通过额外使用球面特征来识别 3D 旋转——这样变形应接近于物体旋转。