多样自编码器的信息流

深度学习在各领域的卓越表现一直是一个根本性疑问，可借助信息论来考察——信息论将学习过程解释为信息的传输与压缩。对输入-隐层-输出层间互信息的信息平面分析揭示了拟合与压缩两个 distinct 学习阶段。压缩阶段对于泛化从训练数据提取的输入-输出关系是否必要尚存争议。本研究通过对各类自编码器进行实验来探究此问题，并采用基于核的精确互信息估计器评估其信息处理阶段。在训练数据充足时，普通自编码器表现出压缩阶段，且在隐层活动施加稀疏正则化后该阶段被放大。然而，我们发现压缩阶段并非在不同种类自编码器中普遍观测到，包括变分自编码器这类对网络权重或隐空间流形具有特殊约束的编码器。这些类型的自编码器在不经历压缩阶段的情况下对测试数据展现出完美的泛化能力。因此我们得出结论：在表示学习中压缩阶段对于泛化并非必要。