AET对比AED:通过自编码变换而非数据实现无监督表示学习
计算机视觉与模式识别
2019-03-26 v2
摘要
深度神经网络的成功往往依赖于大量标注样本,而在许多实际场景中这些样本难以获取。为应对此挑战,在不使用任何标注数据的情况下训练神经网络时,无监督方法备受青睐。本文提出一种新颖的无监督表示学习范式——自编码变换(AET),以区别于传统的自编码数据(AED)方法。给定一个随机采样的变换,AET力求在输出端仅根据编码特征尽可能准确地预测该变换。其思路如下:只要无监督特征成功编码了原始图像与变换后图像的视觉结构本质信息,该变换就能被很好地预测。我们将展示这一AET范式允许我们实例化多种变换,从参数化到非参数化乃至GAN诱导的变换。实验表明,AET大幅优于现有无监督方法,在CIFAR-10、ImageNet和Places数据集上刷新了SOTA性能,且大幅接近其全监督对应方法的上界。
引用
@article{arxiv.1901.04596,
title = {AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data},
author = {Liheng Zhang and Guo-Jun Qi and Liqiang Wang and Jiebo Luo},
journal= {arXiv preprint arXiv:1901.04596},
year = {2019}
}
备注
in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019), Long Beach, CA, June 16th - June 20th, 2019