联合训练对深度自编码器更有益吗？

传统上，当通过深度架构开发数据的生成模型时，通常采用贪婪逐层预训练。在一个训练良好的模型中，架构的底层对基于隐藏变量的数据分布进行建模，而高层则对隐藏分布先验进行建模。但由于逐层训练技术的贪婪方案，在训练高层时低层的参数是固定的。这使得模型极难学习隐藏分布先验，进而导致数据分布模型次优。因此，我们研究了深度自编码器的联合训练，将该架构视为两个或多个单层自编码器的堆叠。我们联合优化单一的全局重构目标，使得每一层单个自编码器的目标充当局部的层级别正则化项。我们实证评估了这种联合训练方案的性能，观察到它不仅学习了更好的数据模型，还学习了更优的高层表示，突显了其在无监督特征学习方面的潜力。此外，我们发现正则化项的使用对于在联合训练方案中取得良好性能至关重要。在监督设置下，联合训练在训练更深模型时也表现出优越的性能。因此，联合训练框架可为研究不同类型正则化项的更高效使用提供平台，特别是在可用未标记数据量日益增长的背景下。