无监督预训练的一个陷阱

本文的重点是质疑深度学习中的典型假设并提出替代方案。一个特别的贡献是证明：即使一个堆叠卷积自编码器善于重建图像，它也未必善于区分其类别。在使用自编码器时，直觉上人们假定善于重建的特征也会带来高分类准确率。事实上，这已成为研究惯例，也是入门书籍建议的策略。然而，我们证明情况并非总是如此。我们深入研究了堆叠卷积自编码器在训练以重建其输入时所产生特征的质量。特别地，我们分析若对两项任务使用相同特征时，网络的重建能力与分类能力之间的关系。实验结果表明，事实上重建分数与分类任务的特征质量之间并无相关性。这更正式地意味着，从堆叠卷积自编码器（在训练用于输入重建时）学到的子维度表示空间未必比初始输入空间更具可分离性。此外，我们表明重建误差并非评估特征质量的良好度量，因为它受解码器质量偏置。我们不质疑预训练的有用性，但得出结论：若后续执行分类任务，以最低重建误差为目标未必是好主意。