自编码器变体的潜在空间表征

理解深度学习模型所学的潜在空间对于探索它们如何表示和生成复杂数据至关重要。自编码器（AE）在表征学习领域发挥了关键作用，开发了大量正则化技术和训练原则，不仅为了增强其学习紧凑且鲁棒表征的能力，还为了揭示不同架构如何影响低维非线性流形的结构和平滑性。我们力求刻画不同自编码器（包括卷积自编码器（CAE）、去噪自编码器（DAE）和变分自编码器（VAE））所学的潜在空间的结构，以及它们如何随输入扰动而变化。通过刻画与潜在空间对应的矩阵流形，我们解释了众所周知的观察结果，即CAE和DAE的潜在空间形成非平滑流形，而VAE的潜在空间形成平滑流形。我们还将矩阵流形的点映射到希尔伯特空间，使用保持距离的变换，并在希尔伯特空间中以输入失真为函数生成的子空间提供了一种替代视角。结果表明，CAE和DAE的潜在流形是分层结构，每一层都是平滑乘积流形，而VAE的流形是两个对称正定矩阵和一个对称半正定矩阵的平滑乘积流形。