恢复神经网络塑性以实现更快的迁移学习
计算机视觉与模式识别
2026-03-24 v1 人工智能
摘要
使用在 ImageNet 上预训练的模型进行迁移学习已成为计算机视觉中的标准做法。迁移学习指的是在下游任务上对预训练的神经网络权重进行微调，通常与 ImageNet 的任务不相关。然而，预训练权重可能被饱和，导致梯度几乎为零，无法适应下游任务。这会阻碍模型有效训练，被称为神经塑性丧失。神经塑性丧失可能防止模型完全适应目标域，尤其当下游数据集在本质上具有异常性时。虽然这一问题在持续学习中得到了广泛探索，但在迁移学习的背景下仍相对不为人所关注。本文我们提出使用针对性权重重新初始化策略在微调前恢复神经塑性。我们的实验表明，卷积神经网络（CNN）和视觉转换器（ViT）都受益于这一方法，在多个图像分类基准测试中实现更高的测试准确率和更快的收敛速度。该方法引入的计算开销极小，与常见的迁移学习管道兼容。
引用
@article{arxiv.2603.20860,
title = {Restoring Neural Network Plasticity for Faster Transfer Learning},
author = {Xander Coetzer and Arné Schreuder and Anna Sergeevna Bosman},
journal= {arXiv preprint arXiv:2603.20860},
year = {2026}
}
备注
11 pages, 1 figure, 6 tables and 2 formulas