面向迁移学习的可微架构剪枝

我们提出一种新的基于梯度的方法，用于从给定的大型模型中提取子架构。与现有的无法解耦网络架构及其对应权重的剪枝方法相反，我们的架构剪枝方案生成可迁移的新结构，这些结构可以成功地重新训练以解决不同任务。我们关注一种迁移学习设置，其中架构可以在大型数据集上训练，但用于在新任务上微调的数据点极少。我们定义了一种新的基于梯度的算法，该算法独立于所附权重训练任意低复杂度的架构。给定由现有大型神经模型定义的搜索空间，我们将架构搜索任务重新表述为复杂度惩罚的子集选择问题，并通过双温度松弛方案求解。我们提供理论收敛保证，并在真实数据上验证所提出的迁移学习策略。