StressedNets：基于应力诱导进化合成的深度神经网络高效特征表示
计算机视觉与模式识别
2018-01-18 v1 机器学习
神经与进化计算
摘要
利用深度神经网络提取深度特征表示的计算复杂性，是其广泛应用尤其是嵌入设备使用中的重大障碍。解决复杂性问题的一个特别有前景的策略是深度神经网络的进化合成，其已被证明能在保持建模性能的同时成功产出高效深度神经网络。在此，我们进一步扩展进化合成策略，通过引入应力诱导进化合成框架来实现高效特征提取，该框架在训练期间对深度神经网络的突触施加应力信号，以诱导应力并引导合成过程在连续代中产出更高效深度神经网络，并以更高效率获得改进模型保真度。所提应力诱导进化合成方法在多种不同深度神经网络架构（LeNet5、AlexNet 与 YOLOv2）及不同任务（对象分类与对象检测）上评估，以在多代中合成高效 StressedNets。实验结果表明，该框架能合成 StressedNets，其网络架构效率显著提升（如 AlexNet 达 40 倍、YOLOv2 达 33 倍）且速度改善明显（如 YOLOv2 在 Nvidia Tegra X1 移动处理器上推理加速 5.5 倍）。
引用
@article{arxiv.1801.05387,
title = {StressedNets: Efficient Feature Representations via Stress-induced Evolutionary Synthesis of Deep Neural Networks},
author = {Mohammad Javad Shafiee and Brendan Chwyl and Francis Li and Rongyan Chen and Michelle Karg and Christian Scharfenberger and Alexander Wong},
journal= {arXiv preprint arXiv:1801.05387},
year = {2018}
}