用于节能与增强模式识别的条件深度学习
计算机视觉与模式识别
2016-01-29 v6
摘要
深度学习神经网络已成为视觉相关应用最强大的分类工具之一。然而，此类深度网络的计算和能耗需求可能相当高，因此其节能实现备受关注。尽管传统上整个网络被用于所有输入的识别，但我们观察到真实世界数据集中输入的分类难度差异很大；仅一小部分输入需要网络的全部计算代价，而大部分可以以极低代价正确分类。本文提出条件深度学习(Conditional Deep Learning, CDL)，利用卷积层特征识别输入实例难度的变化，并条件激活网络的更深层次。我们通过为每个卷积层级联一个线性输出神经元网络，并监控该线性网络的输出以决定分类是否可在当前阶段终止，从而实现此目的。所提方法因而使网络能够根据输入数据的难度动态调整计算代价，同时保持有竞争力的分类精度。我们在MNIST数据集上评估我们的方法。实验表明，提出的CDL使每输入平均操作数减少1.91倍，相当于能效提升1.84倍。此外，结果显示与原网络相比分类精度从97.5%提高到98.9%。
引用
@article{arxiv.1509.08971,
title = {Conditional Deep Learning for Energy-Efficient and Enhanced Pattern Recognition},
author = {Priyadarshini Panda and Abhronil Sengupta and Kaushik Roy},
journal= {arXiv preprint arXiv:1509.08971},
year = {2016}
}
备注
6 pages, 10 figures, 2 algorithms < Accepted for Design and Automation Test in Europe (DATE) conference, 2016>