基于关系正则化学习自编码器
机器学习
2020-06-29 v4 机器学习
摘要
本文提出一种用于学习数据分布自编码器的新算法框架。我们最小化模型分布与目标分布之间的差异，并对可学习的潜先验施加\emph{关系正则化}。该正则化惩罚潜先验与其对应后验之间的融合 Gromov-Wasserstein（FGW）距离，从而能够灵活学习与生成模型相关的结构化先验分布。此外，它有助于即使具有异构架构和不可比较潜空间的自编码器的协同训练。我们用两种可扩展算法实现该框架，使其适用于概率性和确定性自编码器。我们的关系正则化自编码器（RAE）在图像生成上优于现有方法，例如变分自编码器、Wasserstein 自编码器及其变体。此外，我们的自编码器关系协同训练策略在合成和真实世界多视图学习任务中均取得了令人鼓舞的结果。代码见 https://github.com/HongtengXu/Relational-AutoEncoders。
引用
@article{arxiv.2002.02913,
title = {Learning Autoencoders with Relational Regularization},
author = {Hongteng Xu and Dixin Luo and Ricardo Henao and Svati Shah and Lawrence Carin},
journal= {arXiv preprint arXiv:2002.02913},
year = {2020}
}