基于最优传输的几何数据集距离

任务相似性的概念是各种机器学习范式（如领域自适应和元学习）的核心。当前量化任务相似性的方法往往是启发式的，对跨任务的标签集做出强假设，且许多依赖于特定架构，依赖于任务特定的最优参数（例如，需要在每个数据集上训练一个模型）。在本工作中，我们提出了一种替代性的数据集间距离概念，其（i）与模型无关，（ii）不涉及训练，（iii）即使标签集完全不相交也能比较数据集，且（iv）具有坚实的理论基础。该距离依赖于最优传输，这为其提供了丰富的几何感知、可解释的对应关系以及已被充分理解的属性。我们的结果表明，这一新颖距离提供了有意义的数据集比较，并在各种实验设置和数据集上与迁移学习难度良好相关。