可重构激活网络
摘要
是否有可能重构深度网络中的非线性激活函数，以创建硬件高效模型？为解答这一问题，我们提出了一种称为可重构激活网络（RANs）的新范式，该范式通过调控模型中的非线性量来提升其硬件感知能力与效率。首先，我们提出 RAN-explicit（RAN-e）——一种新的硬件感知搜索空间与半自动搜索算法——以用硬件感知模块替换低效模块。接下来，我们提出一种称为 RAN-implicit（RAN-i）的免训练模型缩放方法，并从理论上证明了网络拓扑与其以非线性单元数量衡量的表达能力之间的联系。我们展示了我们的网络在不同规模及多种硬件上于 ImageNet 取得了最先进结果。例如，相较于 EfficientNet-Lite-B0，RAN-e 在达到相似精度的同时，在 Arm 微 NPU 上将帧率（FPS）提升了 1.5 倍。另一方面，RAN-i 在精度相似或更高的情况下，相较 ConvNexts 实现了高达 2 倍的 #MACs 缩减。我们还展示了 RAN-i 在基于 Arm 的数据中心 CPU 上比 ConvNext 的 FPS 高出近 40%。最后，基于 RAN-i 的目标检测网络相较于基于 ConvNext 的模型，在数据中心 CPU 上取得了相似或更高的 mAP 以及高达 33% 的 FPS 提升。用于训练和评估 RANs 的代码及预训练网络可在 https://github.com/ARM-software/ML-restructurable-activation-networks 获取。
引用
@article{arxiv.2208.08562,
title = {Restructurable Activation Networks},
author = {Kartikeya Bhardwaj and James Ward and Caleb Tung and Dibakar Gope and Lingchuan Meng and Igor Fedorov and Alex Chalfin and Paul Whatmough and Danny Loh},
journal= {arXiv preprint arXiv:2208.08562},
year = {2022}
}
备注
This work was presented at an Arm AI virtual tech talk. Video is available at https://www.youtube.com/watch?v=EUqFNE28Kq4