深度神经网络进化合成中突触精度限制施加的探索
神经与进化计算
2017-07-04 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络取得惊人成功的一个关键因素，是大规模并行计算设备的显著兴起，使研究者能大幅增大深度神经网络的规模和深度，从而显著提升建模精度。尽管更深、更大或更复杂的深度神经网络展现出巨大潜力，此类网络的计算复杂性是在资源匮乏场景下应用的主要障碍。我们在进化深度智能框架内探索深度神经网络的突触发生以形成高效深度神经网络架构，其中引入概率生成建模策略，以概率方式随机合成代际间日益高效且有效的子代深度神经网络，模拟遗传、随机突变和自然选择等进化过程。本研究主要探索突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更适合资源匮乏场景的高效网络架构。实验结果显示突触效率显著提升（基于GoogLeNet的DetectNet降低约10倍）和推理速度提升（>5倍），同时保持建模精度。
引用
@article{arxiv.1707.00095,
title = {Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks},
author = {Mohammad Javad Shafiee and Francis Li and Alexander Wong},
journal= {arXiv preprint arXiv:1707.00095},
year = {2017}
}