DARC：可微分架构压缩

在许多学习场景中，推理时的资源比训练时的资源受限得多。本文研究了一种称为可微分架构压缩（DARC）的通用范式，它结合模型压缩与架构搜索来学习推理时资源高效的模型。给定一个资源密集型基础架构，DARC 利用训练数据学习哪些子组件可被更廉价的替代方案替换。该高层技术可应用于任意神经架构，我们报告了在用于图像分类的最先进卷积神经网络上的实验。对于在 CIFAR-10 上准确率为 $97.2\%$ 的 WideResNet，我们将单样本推理速度提升 $2.28\times$、内存占用降低 $5.64\times$，且无精度损失。对于在 ImageNet 上 Top1 准确率为 $79.15\%$ 的 ResNet，我们将批量推理速度提升 $1.29\times$、内存占用降低 $3.57\times$，精度损失 $1\%$。我们还在简化情形下给出了理论 Rademacher 复杂度界，说明 DARC 如何避免过拟合尽管存在过参数化。