ShiftNAS：通过概率偏移改进一次性神经架构搜索

一次性神经架构搜索(One-shot NAS)被提出作为一种省时的方法，通过仅训练一次即可在不同复杂度情形下获得最优子网络架构与权重。然而，通过权重共享得到的子网络性能往往劣于重新训练所达到的性能。本文中，我们探究了这一性能差距，并将其归因于均匀采样的采用，这是超网训练中的常见做法。均匀采样将训练资源集中于具有中等计算资源的子网络，这些子网络被采样的概率较高。然而，不同复杂度区域的子网络需要不同的最优训练策略以获得最优性能。为解决均匀采样问题，我们提出ShiftNAS，一种能够基于子网络复杂度调整采样概率的方法。我们通过评估不同复杂度子网络的性能变化并设计一种能够准确高效提供所需复杂度子网络的架构生成器来实现这一点。采样概率与架构生成器均可以基于梯度的方式端到端训练。借助ShiftNAS，我们可直接获得给定计算复杂度下的最优模型架构与参数。我们在多个视觉网络模型上评估了我们的方法，包括卷积神经网络(CNNs)与视觉Transformer(ViTs)，并证明ShiftNAS是与模型无关的。在ImageNet上的实验结果表明，ShiftNAS可在无额外消耗的情况下提升一次性NAS的性能。源代码见https://github.com/bestfleer/ShiftNAS。