方差-协方差正则化改进表示学习

迁移学习在推动机器学习模型发展中起着关键作用，然而传统的监督预训练往往通过优先选择与预训练损失最小化的特征，损害了特征的可迁移性。在本工作中，我们将VICReg方法中的一种自监督学习正则化技术适配到监督学习场景中，引入了方差-协方差正则化（VCReg）。这种适配鼓励网络学习高方差、低协方差的表示，从而促进学习更多样化的特征。我们概述了高效实现我们框架的最佳实践，包括将其应用于中间表示。通过广泛的实证评估，我们证明了我们的方法显著增强了图像和视频的迁移学习，在众多任务和数据集上取得了最先进的性能。VCReg还在长尾学习和层次分类等场景中提升了性能。此外，我们表明其有效性可能源于其在解决梯度饥饿和神经网络崩溃等挑战方面的成功。总之，VCReg提供了一个普遍适用的正则化框架，显著推进了迁移学习，并揭示了梯度饥饿、神经网络崩溃与特征可迁移性之间的联系。