分组进化：深度探究深度神经网络的突触簇驱动进化
神经与进化计算
2017-04-10 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
实现高效深度神经网络的一个有前景的范式是进化深度智能的思想，它模仿生物进化过程逐步合成更高效的网络。进化深度智能中的一个关键设计因素是用于模拟遗传并确定子代网络架构的遗传编码方案。在本研究中，我们深入考察深度神经网络的突触簇驱动进化概念，该概念引导进化过程在子代网络中形成高度稀疏的突触簇集合。利用突触簇驱动的遗传编码，突触特征的概率性编码不仅考虑单个突触属性，还考虑深度神经网络内的突触间关系。该过程产生高度稀疏的子代网络，特别适用于GPU和深度神经网络加速芯片等并行计算设备。在两项不同任务（对象分类与对象检测）上使用四种知名深度神经网络架构（LeNet-5、AlexNet、ResNet-56和DetectNet）得到的综合实验结果证明了所提方法的效率。簇驱动遗传编码方案合成的网络能够以显著少于原始祖先网络的突触数量达到最先进性能（在MNIST上突触数量降低125倍）。此外，生成的子代网络中改进的簇效率（MNIST上簇数降低9.71倍，KITTI上降低8.16倍）特别有助于在GPU和深度神经网络加速芯片等并行计算硬件架构上实现加速性能。
引用
@article{arxiv.1704.02081,
title = {Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks},
author = {Mohammad Javad Shafiee and Elnaz Barshan and Alexander Wong},
journal= {arXiv preprint arXiv:1704.02081},
year = {2017}
}
备注
8 pages. arXiv admin note: substantial text overlap with arXiv:1609.01360