并非所有算子生而平等！
机器学习
2018-01-31 v2 神经与进化计算
摘要
高效紧凑的神经网络模型对于在移动和嵌入式设备上的部署至关重要。在本工作中，我们指出用于衡量神经网络架构效率的典型设计指标——操作总数与参数总数——并不充分。这些指标可能无法准确关联实际部署指标如能耗与内存占用。我们展示了在现成的 Arm Cortex-M7 微控制器上，不同神经网络操作类型间的吞吐量与能耗差异可达 5 倍。此外，我们表明除模型参数外，激活数据所需的内存也需在神经网络架构探索研究中予以考虑。
引用
@article{arxiv.1801.04326,
title = {Not All Ops Are Created Equal!},
author = {Liangzhen Lai and Naveen Suda and Vikas Chandra},
journal= {arXiv preprint arXiv:1801.04326},
year = {2018}
}
备注
Accepted at SysML Conference 2018