基于高斯—勒让德节点潜空间正则化确保自编码器压缩下的拓扑数据结构保持
机器学习
2023-09-22 v2 微分几何
摘要
我们为通用无监督自编码器构建了一种与数据无关的潜空间正则化约束。该正则化依赖于在勒让德节点（即高斯—勒让德求积的中心）处采样自编码器的雅可比矩阵。重温这一经典方法使得我们能够证明，正则化自编码器确保了初始数据流形到其潜表示的一一重嵌入。演示表明，先前提出的正则化策略（如收缩自编码）即便在简单例子中也会造成拓扑缺陷，基于卷积的（变分）自编码器同样如此。相比之下，得益于我们的贡献所施加的正则化，即便是标准多层感知机神经网络也能确保拓扑保持。这一观察从经典的 FashionMNIST 数据集延伸至 MRI 脑扫描的真实世界编码问题，表明该正则化技术可跨学科为复杂高维数据集提供可靠低维表示。
引用
@article{arxiv.2309.08228,
title = {Ensuring Topological Data-Structure Preservation under Autoencoder Compression due to Latent Space Regularization in Gauss--Legendre nodes},
author = {Chethan Krishnamurthy Ramanaik and Juan-Esteban Suarez Cardona and Anna Willmann and Pia Hanfeld and Nico Hoffmann and Michael Hecht},
journal= {arXiv preprint arXiv:2309.08228},
year = {2023}
}