Joint-DetNAS：通过 NAS、剪枝与动态蒸馏升级你的检测器
计算机视觉与模式识别
2021-05-28 v1 人工智能
摘要
我们提出 Joint-DetNAS，一个面向目标检测的统一 NAS 框架，其集成了三个关键组件：神经架构搜索、剪枝和知识蒸馏。我们的 Joint-DetNAS 并非朴素地将这些技术流水线化，而是对它们进行联合优化。该算法包含两个核心过程：学生态射优化学生架构并移除冗余参数，而动态蒸馏旨在寻找最优匹配的教师。对于学生态射，采用权重继承策略，使学生能够灵活更新其架构同时充分利用前驱的权重，这显著加速了搜索；为便于动态蒸馏，通过集成渐进收缩策略训练了一个弹性教师池，从中可以零额外成本采样教师检测器用于后续搜索。给定一个基础检测器作为输入，我们的算法直接输出派生的高性能学生检测器而无需额外训练。实验表明，我们的 Joint-DetNAS 大幅优于朴素流水线方法。给定一个经典 R101-FPN 作为基础检测器，Joint-DetNAS 能够在 MS COCO 上将其 mAP 从 41.4 提升至 43.9，并将延迟降低 47%，这与 SOTA EfficientDet 相当，同时所需搜索成本更低。我们希望所提方法能为社区提供联合优化 NAS、KD 和剪枝的新途径。
引用
@article{arxiv.2105.12971,
title = {Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation},
author = {Lewei Yao and Renjie Pi and Hang Xu and Wei Zhang and Zhenguo Li and Tong Zhang},
journal= {arXiv preprint arXiv:2105.12971},
year = {2021}
}
备注
Accepted by CVPR 2021