MutualNet：基于网络宽度与分辨率互学习的自适应卷积网络
计算机视觉与模式识别
2020-03-25 v3
摘要
我们提出宽度-分辨率互学习方法（MutualNet），用于训练一个可在动态资源约束下执行的网络，从而在运行时实现自适应的精度-效率权衡。我们的方法使用不同的输入分辨率训练一组具有不同宽度的子网络，使每个子网络相互学习多尺度表征。在不同的计算约束下，该方法在 ImageNet top-1 精度上始终优于最先进的自适应网络 US-Net，并以 1.5% 的优势超越 EfficientNet 中最佳的复合缩放 MobileNet。我们的方法的优越性也在 COCO 目标检测与实例分割以及迁移学习中得到验证。令人惊讶的是，MutualNet 的训练策略还能提升单一网络的性能，其在效率（GPU 搜索时长：15000 对比 0）和精度（ImageNet：77.6% 对比 78.6%）上均大幅优于强大的 AutoAugmentation。代码见 \url{https://github.com/taoyang1122/MutualNet}。
引用
@article{arxiv.1909.12978,
title = {MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution},
author = {Taojiannan Yang and Sijie Zhu and Chen Chen and Shen Yan and Mi Zhang and Andrew Willis},
journal= {arXiv preprint arXiv:1909.12978},
year = {2020}
}