丢弃模式生成式自编码
机器学习
2024-07-01 v2 计算机视觉与模式识别
摘要
我们提出一种称为解码自编码器(Deciphering Autoencoders)的生成模型。在该模型中,我们为训练数据集中的每个数据点分配唯一的随机丢弃(dropout)模式,然后训练一个自编码器以该模式作为待编码信息来重建相应数据点。即便为每个数据点分配完全随机且与相似度无关的丢弃模式,足够大的编码器也能将其平滑映射到低维潜空间以重建各个训练数据点。推理时,使用不同于训练时所用的丢弃模式可使模型充当生成器。由于解码自编码器的训练仅依赖重建误差,相较于其他生成模型其训练更稳定。尽管简单,解码自编码器在 CIFAR-10 数据集上展现出与 DCGAN 相当的采样质量。
引用
@article{arxiv.2310.01712,
title = {Generative Autoencoding of Dropout Patterns},
author = {Shunta Maeda},
journal= {arXiv preprint arXiv:2310.01712},
year = {2024}
}