重生机制：重新思考卷积神经网络中的负相位信息流
计算机视觉与模式识别
2021-07-08 v2
摘要
本文提出了一种典型地面向卷积神经网络（CNN）的新型非线性激活机制，称为重生机制。与 ReLU 截断负相位值截然不同，重生机制具有重生并重建死亡神经元的能力。相较于其他改进的 ReLU 函数，重生机制引入了一种更恰当的方式来利用负相位信息。大量实验验证，该激活机制能够更显著地增强模型表征能力，并更好地利用输入数据信息，同时保持原始 ReLU 函数的优势。此外，重生机制实现了传统 CNN 难以达到的非对称性，并可作为通道补偿方法，以比传统方法更少的所学参数提供具有竞争力甚至更优的性能。重生机制在各种基准数据集上进行了测试，均取得了优于以往非线性激活函数的性能。
引用
@article{arxiv.2106.07026,
title = {Reborn Mechanism: Rethinking the Negative Phase Information Flow in Convolutional Neural Network},
author = {Zhicheng Cai and Kaizhu Huang and Chenglei Peng},
journal= {arXiv preprint arXiv:2106.07026},
year = {2021}
}