对偶图相似性：任务迁移学习中初始化选择的通用框架
计算机视觉与模式识别
2020-08-06 v1 机器学习
摘要
在本文中，我们解决迁移学习中的一个开放性研究问题，即在给定若干预训练模型的情况下，选择一个模型初始化以在新任务上获得高性能。我们提出一种基于深度神经网络（DNNs）之间对偶图相似性（DDS）的崭新且高效准确的方法。DDS 是一种表示和比较不同特征维度数据的通用框架。我们在 Taskonomy 数据集上通过度量 17 个 taskonomy 任务上实际迁移学习性能排序与预测排序之间的一致性来验证我们的方法。计算 次迁移的基于 DDS 的排序所需时间少于 2 分钟，并且与实际迁移学习排序显示出高相关性（），在 Taskonomy 基准上以较大幅度（）优于最先进的方法。我们还展示了我们的模型选择方法对新任务（即 Pascal VOC 语义分割）的鲁棒性。此外，我们表明我们的方法可应用于在 NYUv2 和 Pascal VOC 数据集上选择 DNN 内用于 2D、3D 和语义任务迁移学习的最佳层位置。
引用
@article{arxiv.2008.02107,
title = {Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning},
author = {Kshitij Dwivedi and Jiahui Huang and Radoslaw Martin Cichy and Gemma Roig},
journal= {arXiv preprint arXiv:2008.02107},
year = {2020}
}
备注
accepted at ECCV 2020. Code available here: https://github.com/cvai-repo/duality-diagram-similarity