具有熵正则化的批归一化将确定性自编码器转化为生成模型
机器学习
2021-09-23 v2 计算机视觉与模式识别
机器学习
摘要
变分自编码器是一种定义良好的深度生成模型,它利用编码器-解码器框架,其中编码神经网络输出非确定性编码以重建输入。编码器通过对每个输入从分布中采样来实现这一点,而非对每个输入输出确定性编码。该过程的巨大优势在于它允许将网络用作生成模型,从数据分布中采样,而不仅限于训练所提供的样本。我们在本工作中表明,只要我们在训练目标中加入合适的熵正则化,利用批归一化作为非确定性的来源就足以将确定性自编码器转化为可与变分自编码器媲美的生成模型。
引用
@article{arxiv.2002.10631,
title = {Batch norm with entropic regularization turns deterministic autoencoders into generative models},
author = {Amur Ghose and Abdullah Rashwan and Pascal Poupart},
journal= {arXiv preprint arXiv:2002.10631},
year = {2021}
}