用于度量任务相似性的 Wasserstein 任务嵌入
机器学习
2022-08-26 v1
摘要
在包括迁移学习、多任务学习、持续学习和元学习在内的广泛机器学习问题中，度量不同任务之间的相似性至关重要。当前大多数度量任务相似性的方法都依赖于特定架构：1) 依赖预训练模型，或 2) 在任务上训练网络并使用前向迁移作为任务相似性的代理。在本文中，我们利用最优传输理论，为监督分类定义了一种新颖的、与模型无关、无需训练且能处理（部分）不相交标签集的任务嵌入。简而言之，给定带有真实标签的数据集，我们通过多维缩放执行标签嵌入，并将数据集样本与其对应的标签嵌入拼接。然后，我们将两个数据集之间的距离定义为它们更新后样本之间的 2-Wasserstein 距离。最后，我们利用 2-Wasserstein 嵌入框架将任务嵌入到向量空间中，其中嵌入点之间的欧氏距离近似于所提出的任务间 2-Wasserstein 距离。我们表明，与最优传输数据集距离（OTDD）等相关方法相比，所提出的嵌入能显著更快地比较任务。此外，我们通过各种数值实验证明了我们所提嵌入的有效性，并显示出我们所提距离与任务间前向和反向迁移之间存在统计显著的关联。
引用
@article{arxiv.2208.11726,
title = {Wasserstein Task Embedding for Measuring Task Similarities},
author = {Xinran Liu and Yikun Bai and Yuzhe Lu and Andrea Soltoggio and Soheil Kolouri},
journal= {arXiv preprint arXiv:2208.11726},
year = {2022}
}