LANA：延迟感知网络加速
计算机视觉与模式识别
2021-11-19 v2 人工智能
机器学习
摘要
我们提出延迟感知网络加速（LANA）——一种基于神经架构搜索技术与师生蒸馏来加速神经网络的方法。LANA 包含两阶段：第一阶段，它通过逐层特征图蒸馏为教师网络的每一层训练多种替代操作；第二阶段，它使用一种新颖的约束整数线性优化（ILP）方法求解高效操作的组合选择。ILP 带来独特性质：（i）在数秒至数分钟内完成 NAS，（ii）轻松满足预算约束，（iii）在层粒度上工作，（iv）支持高达 的庞大搜索空间，在效能与效率上超越先前的搜索方法。在大量实验中，我们展示 LANA 能在目标延迟预算约束下产出高效且精确的模型，同时远快于其他技术。我们分析了三种流行网络架构：EfficientNetV1、EfficientNetV2 与 ResNeST，并在将较大模型压缩至较小模型延迟水平时实现所有模型的精度提升（最高 ）。LANA 在 GPU 与 CPU 上取得显著加速（最高 ），且精度损失微小乃至无损失。代码将很快公开。
引用
@article{arxiv.2107.10624,
title = {LANA: Latency Aware Network Acceleration},
author = {Pavlo Molchanov and Jimmy Hall and Hongxu Yin and Jan Kautz and Nicolo Fusi and Arash Vahdat},
journal= {arXiv preprint arXiv:2107.10624},
year = {2021}
}