任务空间上的信息几何距离
机器学习
2024-05-07 v2 机器学习
摘要
本文给出了一种建模为数据与标签联合分布的学习任务之间的距离。利用信息几何中的工具,该距离被定义为:当分类器在插值任务上拟合时,黎曼流形上最短权重轨迹的长度。插值任务通过最优传输公式从源任务演化至目标任务。这一我们称之为“耦合迁移距离”的距离可跨不同分类器架构进行比较。我们开发了一种计算该距离的算法,其迭代地将源任务数据的边缘分布传输至目标任务的数据边缘分布,同时更新分类器权重以跟踪这一演化中的数据分布。我们建立了理论以表明,我们的距离捕捉了如下直观思想:良好的迁移轨迹是在迁移过程中(尤其在结束于目标任务时)保持泛化差距较小的轨迹。我们在多个不同的图像分类数据集上进行了详尽的实证验证与分析,表明耦合迁移距离与微调难度高度相关。
引用
@article{arxiv.2011.00613,
title = {An Information-Geometric Distance on the Space of Tasks},
author = {Yansong Gao and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2011.00613},
year = {2024}
}