利用类别信息对深度网络表征进行塑形

深度网络表征的统计特性，如稀疏性与相关性，已知与深度学习的性能与可解释性相关。当期望某种统计特性时，通常可设计并在训练阶段施加适当的正则化器。此类正则化器一般旨在对所有类别共同操纵某一统计特性。然而，对于分类任务，若按类别强制所需特性以使不同类别更好区分，则可能更有利。受此启发，我们设计了两个显式利用类别信息的类级正则化器：类级协方差正则化器（cw-CR）与类级方差正则化器（cw-VR）。cw-CR旨在降低同类样本所得表征的协方差以鼓励特征独立性。cw-VR类似，但目标是方差而非协方差以改善特征紧致性。为完整起见，一并考虑其不使用类别信息的对应项：协方差正则化器（CR）与方差正则化器（VR）。四个正则化器概念简单且计算高效，可视化显示它们确实实现了不同的表征塑形。在分类性能方面，在22个流行基准数据集任务中的21个上，相较基线及L1/L2权重正则化方法取得了显著提升。特别地，cw-VR在包括ResNet-32/110在内的13个任务上取得了最佳性能。