NASCaps：一种用于优化卷积胶囊网络精度与硬件效率的神经架构搜索框架
机器学习
2021-01-26 v1 机器学习
摘要
深度神经网络（DNN）已取得显著进展，达到了在多种机器学习（ML）应用中部署所需的精度。最近，Google Brain团队证明了胶囊网络（CapsNet）能够编码并学习不同输入特征之间的空间相关性，从而相比传统（即非胶囊基）DNN具有更优的学习能力。然而，使用常规方法设计CapsNet是一项繁琐的工作，且需要大量训练投入。近期研究表明，针对给定应用集合和训练数据集自动选择最佳/最优DNN模型配置的强有力方法基于神经架构搜索（NAS）算法。此外，由于其极高的计算与存储需求，DNN在IoT-Edge/CPS设备中借助专用硬件加速器部署。本文中，我们提出NASCaps，一种用于不同类型DNN（涵盖传统卷积DNN与CapsNet）的硬件感知NAS自动化框架。我们研究了部署多目标遗传算法（例如基于NSGA-II算法）的有效性。所提框架可联合优化网络精度及相应硬件效率，后者以执行DNN推理的给定硬件加速器的能耗、存储和延迟表示。除支持传统DNN层外，我们的框架首次在NAS流程中建模并支持专用胶囊层与动态路由。我们在不同数据集上评估框架，生成不同网络配置，并展示了不同输出指标之间的权衡。我们将在 https://github.com/ehw-fit/nascaps 开源完整框架与Pareto最优架构的配置。
引用
@article{arxiv.2008.08476,
title = {NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks},
author = {Alberto Marchisio and Andrea Massa and Vojtech Mrazek and Beatrice Bussolino and Maurizio Martina and Muhammad Shafique},
journal= {arXiv preprint arXiv:2008.08476},
year = {2021}
}
备注
To appear at the IEEE/ACM International Conference on Computer-Aided Design (ICCAD '20), November 2-5, 2020, Virtual Event, USA