BasisNet：用于高效推理的两阶段模型合成
计算机视觉与模式识别
2021-05-10 v1
摘要
在这项工作中，我们提出 BasisNet，它以一种简单的新形式结合了高效神经网络架构、条件计算以及早退方面的最新进展。我们的方法引入一个轻量模型来预览输入并生成依赖于输入的组合系数，该系数随后控制更准确专家模型的合成以做出最终预测。这种两阶段模型合成策略可应用于任何网络架构，且两个阶段联合训练。我们还表明，恰当的训练策略对于提升此类高容量神经网络的泛化能力至关重要。在 ImageNet 分类基准上，以 MobileNets 为骨干的 BasisNet 在精度-效率权衡上相对于多个强基线展现出明显优势。具体而言，BasisNet-MobileNetV3 仅用 290M 次乘加运算即取得 80.3% 的 top-1 精度，在精度不降的情况下将先前最优方法的计算成本减半。借助早退，平均成本可进一步降至 198M MAdds，同时在 ImageNet 上保持 80.0% 的精度。
引用
@article{arxiv.2105.03014,
title = {BasisNet: Two-stage Model Synthesis for Efficient Inference},
author = {Mingda Zhang and Chun-Te Chu and Andrey Zhmoginov and Andrew Howard and Brendan Jou and Yukun Zhu and Li Zhang and Rebecca Hwa and Adriana Kovashka},
journal= {arXiv preprint arXiv:2105.03014},
year = {2021}
}
备注
To appear, 4th Workshop on Efficient Deep Learning for Computer Vision (ECV2021), CVPR2021 Workshop