Fisher 任务距离及其在神经架构搜索中的应用
机器学习
2022-05-03 v5 图像与视频处理
机器学习
摘要
我们基于费雪信息矩阵提出了任务间的一种非对称（或非交换）距离，称为 Fisher 任务距离。该距离表示从一个任务向另一个任务迁移知识的复杂度。我们通过来自 MNIST、CIFAR-10、CIFAR-100、ImageNet 和 Taskonomy 数据集的多个分类任务上的定理和实验，提供了我们距离一致性的证明。接下来，我们利用 Fisher 任务距离构建了一个在线神经架构搜索框架，其中我们可以访问过去已学习的任务。通过使用 Fisher 任务距离，我们可以识别与目标任务最接近的学习任务，并利用从这些相关任务中学到的知识用于目标任务。在此，我们展示了目标任务与一组已学习任务之间的所提距离如何用于缩减目标任务的神经架构搜索空间。针对特定任务的架构的搜索空间复杂度缩减，是通过在相似任务的优化架构基础上构建来实现的，而非进行完整搜索且不使用此侧信息。在 MNIST、CIFAR-10、CIFAR-100、ImageNet 数据集上的任务实验结果证明了所提方法的有效性及其相对于其他基于梯度的搜索方法（如 ENAS、DARTS、PC-DARTS）在性能和参数量方面的改进。
引用
@article{arxiv.2103.12827,
title = {Fisher Task Distance and Its Application in Neural Architecture Search},
author = {Cat P. Le and Mohammadreza Soltani and Juncheng Dong and Vahid Tarokh},
journal= {arXiv preprint arXiv:2103.12827},
year = {2022}
}
备注
Published in IEEE Access, Volume 10, 2022