用于图像分类的非二元深度迁移学习

当前使用较少标注训练样本处理多种计算机视觉任务的标准方法，是从在大型图像分类数据集（如 ImageNet）上预训练的权重进行微调。迁移学习及其应用方法往往僵化地二元化。一个模型要么预训练过，要么没有。预训练一个模型要么提升性能，要么降低性能，后者被定义为负迁移。L2-SP 正则化（将权重衰减至其预训练值）的应用要么被使用，要么所有权重都衰减至 0。本文重新审视这些假设。我们的建议基于广泛的实证评估，表明应用非二元方法可获得最优结果。（1）在每个单独数据集上取得最佳性能需要仔细调整各种通常未被考虑的迁移学习超参数，包括迁移层数、不同层使用不同学习率，以及 L2SP 与 L2 正则化的不同组合。（2）可通过若干衡量预训练权重对目标数据集拟合程度的指标来指导最优超参数，从而实现最佳实践。我们提出了非二元迁移学习的方法，包括结合 L2SP 与 L2 正则化，以及执行非传统的微调超参数搜索。最后我们给出了确定最优迁移学习超参数的启发式方法。采用非二元方法的优势由最终结果佐证：在历来对迁移学习较困难的多项任务上，其性能接近或超越了 SOTA。