一种用于提升神经网络性能的 ReLU 稠密层
机器学习
2020-10-27 v1 计算机视觉与模式识别
摘要
我们提出 ReDense 作为一种简单且低复杂度的方法来提升已训练神经网络的性能。我们利用随机权重与修正线性单元（ReLU）激活函数的组合，为已训练神经网络添加一个 ReLU 稠密（ReDense）层，从而使其获得更低的训练损失。ReLU 的无损流特性（LFP）是在保持泛化误差较小的同时实现更低训练损失的关键。由于具有浅层结构，ReDense 在训练中不会遭遇梯度消失问题。我们通过实验表明，ReDense 能够提升具有不同优化损失与激活函数的多种神经网络架构的训练与测试性能。最后，我们在部分最先进（state-of-the-art）架构上测试了 ReDense，并展示了其在基准数据集上的性能提升。
引用
@article{arxiv.2010.13572,
title = {A ReLU Dense Layer to Improve the Performance of Neural Networks},
author = {Alireza M. Javid and Sandipan Das and Mikael Skoglund and Saikat Chatterjee},
journal= {arXiv preprint arXiv:2010.13572},
year = {2020}
}
备注
Submitted to ICASSP 2021