通过联合适配网络架构与权重实现高效迁移学习
计算机视觉与模式识别
2021-05-20 v1
摘要
迁移学习可通过利用源域的知识来提升目标任务的性能。神经架构搜索(NAS)尤其是一次性NAS中的近期工作,可通过建立充分的网络搜索空间来辅助迁移学习。然而,现有NAS方法倾向于通过显式构建具有多条子路径的巨型超网络来近似巨大搜索空间,并在找到子结构后丢弃超网络权重。现有方法的这两种特性导致了迁移学习中在源任务上的重复网络训练。为弥补上述问题,我们通过随机丢弃网络块之间的连接同时嵌入更大的搜索空间来缩减超网络规模。此外,我们提出一种由神经架构搜索模块(用于架构迁移)和神经权重搜索模块(用于权重迁移)组成的新型框架,复用超网络权重以避免冗余训练。这两个模块基于缩减后的超网络在目标任务上执行搜索,因此我们只需在源任务上训练一次。我们在MS-COCO和CUB-200上针对目标检测和细粒度图像分类任务实验了我们的框架,并以仅O(CN)的超网络复杂度展示了有前景的改进。
引用
@article{arxiv.2105.08994,
title = {Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight},
author = {Ming Sun and Haoxuan Dou and Junjie Yan},
journal= {arXiv preprint arXiv:2105.08994},
year = {2021}
}
备注
NAS is one part of transfer learning