NetScore:面向大规模深度神经网络实际边缘设备端性能分析的通用指标
计算机视觉与模式识别
2018-08-28 v2 机器学习
机器学习
摘要
深度神经网络设计的重点多在于提升准确率,导致了更强大但高度复杂的网络架构,因其高计算与内存需求而难以在实际场景中部署,尤其是在移动及其他消费类等边缘设备上。因此,近期出现了设计定量指标以评估深度神经网络的研究兴趣,这些指标不仅将模型准确率作为网络性能的唯一指标。在本研究中,我们延续关于评估深度神经网络实际边缘设备端性能的通用指标的讨论。具体而言,我们提出一种称为 NetScore 的新平衡指标,专门设计用于对深度神经网络的准确率、计算复杂度和网络架构复杂度之间的平衡进行定量评估,这对边缘设备端运行十分重要。在文献中规模最大的深度神经网络对比分析之一中,NetScore 指标、top-1 准确率指标和流行的信息密度指标在 ImageNet 大规模视觉识别挑战赛(ILSVRC 2012)数据集上跨 60 种不同的深度卷积神经网络图像分类模型进行了比较。本研究给出了这组多样化网络在这三种指标下的评估结果,以作为该领域从业者的参考指南。所提出的 NetScore 指标及所测试的其他指标绝非完美,但希望借此推动关于更好通用指标的讨论,以评估用于实际边缘设备端场景的深度神经网络,从而帮助从业者在此类场景的模型设计中提供指导。
引用
@article{arxiv.1806.05512,
title = {NetScore: Towards Universal Metrics for Large-scale Performance Analysis of Deep Neural Networks for Practical On-Device Edge Usage},
author = {Alexander Wong},
journal= {arXiv preprint arXiv:1806.05512},
year = {2018}
}
备注
9 pages