用于高效任务分类法与迁移学习的表示相似性分析

当可用标注样本较少时，深度神经网络模型中广泛使用迁移学习。常见做法是取在相似任务上预训练的网络并微调模型参数。这通常盲目进行，不从一组预训练模型中预先选择，或通过微调在不同任务上训练的若干模型并借交叉验证选取最佳表现者。我们通过提出一种评估视觉任务与其特定任务模型之间关系的方法来解决这个问题。我们的方法使用表示相似性分析（RSA），其常用于寻找脑数据模型与模型间神经元响应的相关性。借助 RSA，我们通过计算在不同任务上训练的模型间的相关性获得任务间的相似性分数。我们的方法高效，因它仅需预训练模型与少量图像而无需进一步训练。我们展示了我们的方法在 Taskonomy 数据集上生成任务分类法的有效性与效率。接下来我们评估 RSA 与 Taskonomy 任务及一个新任务：Pascal VOC 语义分割上迁移学习性能的关系。我们的结果显示，在相似性分数更高的任务上训练的模型展现出更高的迁移学习性能。令人惊讶的是，Pascal VOC 语义分割的最佳迁移学习结果并非来自语义分割上的预训练模型，可能由于领域差异，而我们的方法成功选出了高性能模型。