使用具有对称跳跃连接的卷积自编码器学习深度表示
计算机视觉与模式识别
2017-03-29 v2
摘要
多年前，无监督预训练是训练深度神经网络的一项关键技术。如今，借助充足的标注数据和现代训练技术，完全以纯监督方式从头训练非常深的神经网络已成为可能。然而，无标签数据更容易获取且通常规模庞大。如何更好地利用它们来辅助监督学习仍是一个极具价值的话题。在本文中，我们研究卷积去噪自编码器，以表明无监督预训练仍能提升图像分类和语义分割等高级图像相关任务的性能。我们使用的架构是一个带有对称跳跃连接的卷积自编码器网络。我们凭经验表明，对称跳跃连接对于通过图像重建学习抽象表示非常重要。当没有额外的无标签数据可用时，使用我们网络的无监督预训练可以正则化监督训练，从而带来更好的泛化性能。在无监督预训练的帮助下，我们的方法在使用非常简单的全卷积网络进行图像分类时取得了极具竞争力的结果。当标注数据有限但有额外的无标签数据可用时，我们的方法在几个半监督学习任务中取得了良好的结果。
引用
@article{arxiv.1611.09119,
title = {Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections},
author = {Jianfeng Dong and Xiao-Jiao Mao and Chunhua Shen and Yu-Bin Yang},
journal= {arXiv preprint arXiv:1611.09119},
year = {2017}
}