用球面切片融合Gromov Wasserstein改进关系正则化自编码器
机器学习
2020-10-06 v1 机器学习
摘要
关系正则化自编码器(RAE)是一种通过最小化重构损失与潜空间上的关系正则化来学习数据分布的框架。近期一种减小先验分布与聚合后验分布之间内部差异的尝试是在这些分布间引入切片融合Gromov-Wasserstein(SFG)。该方法有一个弱点,因为它同等对待每个切片方向,而若干方向对判别任务并无用处。为改进该差异并进而改进关系正则化,我们提出一种新的关系差异,称为球面切片融合Gromov Wasserstein(SSFG),它可以通过von Mises-Fisher分布刻画投影的重要区域。然后,我们引入SSFG的两个变体以提升其性能。第一个变体称为混合球面切片融合Gromov Wasserstein(MSSFG),用von Mises-Fisher分布混合替换vMF分布,以捕捉彼此相距较远的多处重要方向区域。第二个变体称为幂球面切片融合Gromov Wasserstein(PSSFG),用幂球面分布替换vMF分布,以改进高维设置下的采样时间。然后我们将新差异应用于RAE框架以得到其新变体。最后,我们进行大量实验表明所提出的新型自编码器在学习潜流形结构、图像生成与重构方面具有良好性能。
引用
@article{arxiv.2010.01787,
title = {Improving Relational Regularized Autoencoders with Spherical Sliced Fused Gromov Wasserstein},
author = {Khai Nguyen and Son Nguyen and Nhat Ho and Tung Pham and Hung Bui},
journal= {arXiv preprint arXiv:2010.01787},
year = {2020}
}
备注
39 pages, 19 figures