利用巴氏类别可分性进行可迁移性估计

迁移学习已成为计算机视觉中利用预训练模型的流行方法。然而，在不执行计算成本高昂的微调的情况下，很难量化哪些预训练源模型适合特定的目标任务，或者反过来说，一个预训练源模型可以轻松适应哪些任务。在这项工作中，我们提出了高斯巴氏系数（GBC），这是一种用于量化源模型与目标数据集之间可迁移性的新方法。第一步，我们将所有目标图像嵌入到由源模型定义的特征空间中，并用逐类高斯分布表示它们。然后，我们使用巴氏系数估计它们的成对类别可分性，从而得到一个简单有效的衡量源模型迁移到目标任务效果的标准。我们在数据集和架构选择的背景下，在图像分类任务上评估了GBC。此外，我们还在更复杂的语义分割可迁移性估计任务上进行了实验。我们证明，在语义分割设置中，GBC在大多数评估标准上优于最先进的可迁移性度量指标，在图像分类的数据集可迁移性方面与顶级方法的性能相匹配，并且在图像分类的架构选择问题上表现最佳。