Lookahead 优化器提升卷积自编码器在自然图像重建中的性能
计算机视觉与模式识别
2020-12-11 v1 人工智能
图形学
机器学习
数据分析、统计与概率
摘要
自编码器是一类人工神经网络，近年来备受关注。利用自编码器的编码器模块可将输入图像压缩为有意义的表示，随后使用解码器将该压缩表示重建为类似输入图像的版本。它在数据压缩与去噪领域有诸多应用。自编码器（AE）的另一版本为变分自编码器（VAE），其作为类似 GAN 的生成模型。近期出现了一种称为 lookahead 优化器的优化器，可显著提升 Adam 与 SGD 的性能。本文中，我们实现带有 lookahead 优化器（配合 Adam）的卷积自编码器（CAE）与卷积变分自编码器（CVAE），并与仅用 Adam 优化器的对应模型比较。为此，前者使用由自然图像构成的电影数据集，后者使用 CIFAR100。我们表明 lookahead 优化器（配合 Adam）提升了 CAE 在自然图像重建上的性能。
引用
@article{arxiv.2012.05694,
title = {Lookahead optimizer improves the performance of Convolutional Autoencoders for reconstruction of natural images},
author = {Sayan Nag},
journal= {arXiv preprint arXiv:2012.05694},
year = {2020}
}