面向有效任务适应的超网迁移学习

神经网络架构搜索(NAS)方法已被证明优于手工设计的模型，帮助 democratize AI。然而，NAS方法常针对每个新任务从零开始，导致计算成本高昂并限制其适用性。迁移学习作为一种实用替代方案，受益于不断增大的预训练模型。然而，它也受制于预训练模型的架构，限制了对不同任务的架构适应，导致亚optimal且过大的模型。我们一次性解决这两个挑战，通过引入一种新颖且实用的方法来 transfer supernets，该方法同时参数化权重与架构先验，并高效微调两者以适应新任务。这使得超网迁移学习成为传统迁移学习的替代方案，能够针对新任务微调模型架构。通过多个图像分类任务的大量实验，我们展示，超网迁移学习不仅能大幅加速发现最优模型的速度（平均快3至5倍），还能发现比从头运行NAS更好的模型。模型的额外灵活性还提高了迁移学习的鲁棒性，尤其在多数据集预训练时，能实现对even very different目标数据集的正向迁移。