深度残差网络中严格恒等映射的学习
计算机视觉与模式识别
2019-06-18 v5
摘要
一类被称为残差网络或ResNet的极深网络家族，在图像识别、目标检测和语义分割等多种视觉任务中取得了破纪录的性能。训练极深网络的能力自然促使研究者使用巨大资源以求得最佳性能。结果，在许多应用中，仅为了微小的性能提升便采用了极深残差网络。本文中，我们提出epsilon-ResNet，可自动丢弃响应小于阈值epsilon的冗余层，且性能损失微小或无损失。epsilon-ResNet架构可通过在原始ResNet中加入少量额外的修正线性单元实现。我们的方法不像其他超参数优化技术那样使用额外变量或大量试错。层选择通过单次训练过程完成，并在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集上评估。在某些情形下，我们实现了约80%的参数数量缩减。
引用
@article{arxiv.1804.01661,
title = {Learning Strict Identity Mappings in Deep Residual Networks},
author = {Xin Yu and Zhiding Yu and Srikumar Ramalingam},
journal= {arXiv preprint arXiv:1804.01661},
year = {2019}
}
备注
Make title consistent with the CVPR version