无监督预训练有助于保留输入分布中的多种视图
机器学习
2019-05-31 v1 机器学习
摘要
我们从信息论的角度研究无监督预训练方法的影响。如果输入分布展现出监督信号的多种视图，那么无监督预训练能够学习跨层传递这些视图的分层表示，同时解耦监督信号。监督信号的解耦使得所学特征在给定标签的条件下相互独立。在二值特征的情况下，我们表明条件独立性允许用线性模型提取标签信息，从而有助于解决欠拟合。我们推测，展现多种视图的表示有助于解决过拟合，因为每种视图都提供有助于降低模型方差的信息。我们提出一种实用方法来度量二值表示中监督信号的解耦程度与视图数量。我们表明无监督预训练有助于保留输入分布中的视图，而使用监督模型学习的表示忽略了其中大部分视图。
引用
@article{arxiv.1905.12889,
title = {Unsupervised pre-training helps to conserve views from input distribution},
author = {Nicolas Pinchaud},
journal= {arXiv preprint arXiv:1905.12889},
year = {2019}
}
备注
ICML 2012 workshop