即取子网络：具有动态训练和可定制推理的弹性神经网络

将神经网络部署到不同设备或平台通常具有挑战性，尤其是在模型尺寸大或模型复杂度高的情况下。尽管存在模型剪枝或蒸馏的方法，但通常需要执行一整轮模型训练或微调过程，才能获得满足模型尺寸或复杂度约束的较小模型。受近期关于动态神经网络工作的启发，我们提出了一种简单的方法：训练一个大网络，并在推理阶段根据模型尺寸或复杂度约束从中灵活提取子网络。我们引入了一种新方法，允许在训练阶段以动态深度和宽度训练大模型，并且在大模型训练完成后，可以在推理阶段从中选择任意深度和宽度的子网络，且与从零开始独立训练该子网络相比，能获得相对更好的性能。在音乐源分离模型上的实验结果表明，我们提出的方法能够利用单个大模型有效提升不同子网络尺寸和复杂度下的分离性能，并且训练该大模型所需的时间显著短于训练所有不同子网络所需的时间。