SuperTickets：通过联合架构搜索与参数剪枝从超网中抽取任务无关的彩票子网络

神经架构搜索（NAS）已展现出从给定超网中搜索高效深度神经网络（DNN）的惊人成功。与此同时，彩票假设表明 DNN 中包含可从头训练以达到与原 DNN 相当或更高精度的微小子网络。因此，当前通常通过先搜索后剪枝的流程来开发高效 DNN。然而，这样做往往需要搜索-训练-剪枝-重训练的过程，从而带来极高的计算成本。在本文中，我们首次发现高效 DNN 及其彩票子网络（即彩票）均可直接从超网中识别出来，我们称之为 SuperTickets，通过一种两全其美的训练方案，联合架构搜索与参数剪枝实现。此外，我们提出了一种渐进且统一的 SuperTickets 识别策略，允许子网络的连接性在超网训练过程中改变，比传统稀疏训练取得更好的精度与效率权衡。最后，我们评估了从一个任务中抽取的此类 SuperTickets 是否能良好迁移到其他任务，验证其同时处理多个任务的潜力。在三个任务和四个基准数据集上的大量实验与消融研究证实，无论是否重训练，我们提出的 SuperTickets 都比典型的 NAS 与剪枝流程取得了提升的精度与效率权衡。代码与预训练模型见 https://github.com/RICE-EIC/SuperTickets。