李群自编码器
机器学习
2019-01-30 v1 群论
机器学习
摘要
在本文中,我们提出一种基于自编码器的生成神经网络模型,其编码器将输入压缩为特殊李群流形——上三角正定仿射变换矩阵(UTDATs)——的切空间中的向量。UTDATs 是高斯分布的表达,并可直接生成高斯分布样本。因此,编码器与以高斯分布潜向量为输入的解码器(生成器)联合训练。与变分自编码器等相关生成模型相比,所提模型融入了高斯分布几何性质的信息。作为一种特例,我们推导了对角高斯 UTDATs 的指数映射层,与李群理论中一般指数映射相比省去了矩阵指数算子。此外,我们推导了 UTDAT 李群的内在损失,其可在切空间中作为 l-2 损失计算。进一步,受李群理论启发,我们提出使用李代数向量而非高斯分布的原始参数(如均值)作为原始输入的压缩表示。实验结果验证了所提新生成模型的有效性以及从 UTDATs 李群结构信息中获得的益处。
引用
@article{arxiv.1901.09970,
title = {Lie Group Auto-Encoder},
author = {Liyu Gong and Qiang Cheng},
journal= {arXiv preprint arXiv:1901.09970},
year = {2019}
}