OTCE：一种用于跨领域跨任务表征的可迁移性度量
机器学习
2021-03-26 v1 人工智能
计算机视觉与模式识别
摘要
跨异构数据分布(又称领域)和不同任务的迁移学习，比常规迁移学习更具一般性且更具挑战性，后者假设领域或任务相同。虽然基于神经网络的特征迁移被广泛用于迁移学习应用，但寻找最优迁移策略仍需耗时的实验和领域知识。我们提出一种称为基于最优传输的条件熵(OTCE)的迁移性度量，以在此跨领域和跨任务特征迁移设定下解析地预测有监督分类任务的迁移性能。我们的OTCE分数将可迁移性刻画为领域差异与任务差异的组合，并在统一框架中从数据显式评估二者。具体而言，我们使用最优传输估计领域差异以及源分布和目标分布之间的最优耦合，进而用于推导目标任务的条件熵(任务差异)。在最大跨领域数据集DomainNet和Office31上的实验表明，与最先进方法相比，OTCE与真实迁移准确度的相关性平均提升21%。我们还研究了OTCE分数的两种应用，包括源模型选择和多源特征融合。
引用
@article{arxiv.2103.13843,
title = {OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations},
author = {Yang Tan and Yang Li and Shao-Lun Huang},
journal= {arXiv preprint arXiv:2103.13843},
year = {2021}
}
备注
13 pages, accepted by CVPR2021