浅-深网络：理解并缓解网络过度思考
机器学习
2019-05-10 v3 计算机视觉与模式识别
机器学习
摘要
我们刻画了深度神经网络（DNNs）一种普遍存在的弱点——过度思考（overthinking），它发生在 DNN 能在最终层之前就达到正确预测时。过度思考在计算上是浪费的，并且当最终层将正确预测变为误分类时，它也可能是破坏性的。理解过度思考需要研究每个预测在 DNN 前向传播过程中的演变，而传统上这是不透明的。为预测透明性，我们提出浅-深网络（SDN），一种对现成 DNN 的通用修改，引入内部分类器。我们将 SDN 应用于四个现代架构（在三个图像分类任务上训练）以刻画过度思考问题。我们表明 SDN 可通过基于置信度的提前退出缓解过度思考的浪费效应，将平均推理成本降低 50% 以上并保持准确率。我们还发现破坏性效应对自然输入上 50% 的误分类发生，并且可由近期后门攻击对抗性地诱发。为缓解该效应，我们提出一种新的混淆度量来量化可能导致误分类的内部不一致。
引用
@article{arxiv.1810.07052,
title = {Shallow-Deep Networks: Understanding and Mitigating Network Overthinking},
author = {Yigitcan Kaya and Sanghyun Hong and Tudor Dumitras},
journal= {arXiv preprint arXiv:1810.07052},
year = {2019}
}
备注
Accepted to ICML2019. Source code here: www.shallowdeep.network