MutualNet：通过不同模型配置互学习实现自适应卷积网络
计算机视觉与模式识别
2022-01-03 v2
摘要
大多数现有深度神经网络是静态的，即它们只能以固定复杂度进行推理。但资源预算在不同设备间可能有很大差异。即使在单一设备上，可负担的预算也会随不同场景变化，而为每个所需预算重复训练网络将极其昂贵。因此，在本工作中，我们提出一种称为 MutualNet 的通用方法，训练单个可在多种资源约束下运行的网络。我们的方法训练一组具有不同网络宽度和输入分辨率的模型配置。这种互学习方案不仅允许模型以不同宽度-分辨率配置运行，还能在这些配置间迁移独特知识，帮助模型整体学习更强的表征。MutualNet 是一种可应用于各种网络结构（如 2D 网络：MobileNets、ResNet，3D 网络：SlowFast、X3D）和各种任务（如图像分类、目标检测、分割和动作识别）的通用训练方法，并被证明在多种数据集上取得一致改进。由于我们仅训练模型一次，与独立训练多个模型相比也大幅降低了训练成本。令人惊讶的是，若不考虑动态资源约束，MutualNet 也可用于显著提升单个网络的性能。总之，MutualNet 是适用于静态与自适应、2D 与 3D 网络的统一方法。代码与预训练模型见 \url{https://github.com/taoyang1122/MutualNet}。
引用
@article{arxiv.2105.07085,
title = {MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations},
author = {Taojiannan Yang and Sijie Zhu and Matias Mendieta and Pu Wang and Ravikumar Balakrishnan and Minwoo Lee and Tao Han and Mubarak Shah and Chen Chen},
journal= {arXiv preprint arXiv:2105.07085},
year = {2022}
}
备注
Extended version of arXiv:1909.12978. Updated analyses and results. Accepted to TPAMI