无监督预训练的一个陷阱

本文旨在质疑深度学习中的一些典型假设，并提出替代方案。一个特别的贡献是证明：即使堆叠卷积自编码器擅长重构图像，它也未必擅长判别图像的类别。在使用自编码器时，人们直觉上会认为，有利于重构的特征也会带来较高的分类准确率。事实上，这已成为研究惯例，也是入门书籍推荐的一种策略。然而，我们证明情况并非总是如此。我们深入研究了堆叠卷积自编码器在训练重构其输入时所产生的特征的质量。特别地，我们分析了若将相同特征同时用于重构与分类任务时，网络的重构能力与分类能力之间的关系。实验结果表明，实际上重构得分与分类任务的特征质量之间并无相关性。更严格地说，这意味着堆叠卷积自编码器（在针对输入重构进行训练时）学习到的子维度表示空间，并不一定比初始输入空间更具可分性。此外，我们表明重构误差并非评估特征质量的良好指标，因为它会受到解码器质量的偏差影响。我们并不质疑预训练的有用性，但得出结论：如果之后要执行分类任务，追求最低的重构误差未必是一个好主意。