正则化与否？正则化自编码器中的偏差-方差权衡
机器学习
2020-09-22 v2 计算机视觉与模式识别
机器学习
摘要
正则化自编码器(RAE)构成了丰富的一类神经生成模型。它们利用编码器-解码器组合有效建模数据与潜空间之间的联合分布，并以潜空间上的先验作为正则化。尽管具有训练稳定等优势，基于 AE 的模型性能尚未达到生成对抗网络(GAN)等其他生成模型的优越水准。受此启发，本文考察潜先验对确定性 AE 模型生成质量的影响。具体而言，我们考虑具有确定性编码器-解码器对的 RAE 类，即 Wasserstein 自编码器(WAE)，并证明事先固定、无视“真实”潜空间维数的先验分布将导致所考虑优化问题的不可行性。进一步，我们证明在有限数据情形下，即便已知正确潜维数，任意先验施加均存在偏差-方差权衡。作为对上述两问题的补救，我们在 WAE 的优化目标中引入可灵活学习的潜先验形式的额外状态空间。我们隐式地联合 AE 训练学习潜先验分布，不仅使学习目标可行，也便于在偏差-方差曲线的不同点上运作。我们通过多个数据集上的若干实验展示了所称 FlexAE 模型的效能，并证明其为基于 AE 的生成模型的新最优(state-of-the-art)模型。
引用
@article{arxiv.2006.05838,
title = {To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs},
author = {Arnab Kumar Mondal and Himanshu Asnani and Parag Singla and Prathosh AP},
journal= {arXiv preprint arXiv:2006.05838},
year = {2020}
}