面向物联网设备并考虑硬件标定的约束深度神经网络架构搜索
机器学习
2019-09-25 v1 分布式、并行与集群计算
摘要
深度神经网络在具有挑战性的图像分类任务中取得了优异结果。然而，网络拓扑的设计是一项复杂任务，研究界不断努力以手动或借助昂贵的架构搜索来发现顶级精度拓扑。本工作中，我们提出了一种独特的窄空间架构搜索，专注于提供低成本和快速执行的网络，并遵守物联网（IoT）近传感器计算平台典型的严格内存与时间要求。我们的方法在峰值性能为 5.6GFLOPS、1GB RAM 的 $35 设备 上提供了分类延迟低于 10ms 的解决方案。浮点模型的窄空间搜索在同等内存约束下将已有 IoT 模型在 CIFAR10 上的准确率从 70.64% 提升至 74.87%。我们通过引入 16 位半精度类型将准确率进一步提升至 82.07%，并通过扩展搜索以使用经优化的 IEEE 754 精简类型模型获得最佳准确率 83.45%。据我们所知，我们首次在超过 3000 个训练模型上实证表明，以精简精度运行大幅推进了帕累托最优前沿。在给定内存约束下，半精度准确率提升超 7 个百分点，采用最佳模型个体格式进一步提升了超 1 个百分点。
引用
@article{arxiv.1909.10818,
title = {Constrained deep neural network architecture search for IoT devices accounting hardware calibration},
author = {Florian Scheidegger and Luca Benini and Costas Bekas and Cristiano Malossi},
journal= {arXiv preprint arXiv:1909.10818},
year = {2019}
}