学习增强卷积神经网络中的负向信息
计算机视觉与模式识别
2023-06-21 v1
摘要
本文提出一种专为卷积神经网络（CNN）设计的可学习非线性激活机制，称为 LENI，其学习增强 CNN 中的负向信息。与 ReLU 截断负神经元并受“dying ReLU”问题困扰截然不同，LENI 能够重建死亡神经元并减少信息损失。相较于改进的 ReLU，LENI 引入可学习方法更恰当处理负相位信息。由此，LENI 在保持 ReLU 原有优势的同时显著提升模型表征能力。作为通用激活机制，LENI 具有可移植性，可通过将激活层简单替换为 LENI 块轻松用于任意 CNN 模型。大量实验验证，LENI 以可忽略的额外参数在各种基准数据集上明显提升各类基线模型性能（在 ImageNet-1k 上 top-1 准确率最高提升 1.24%）。进一步实验表明，LENI 可作为通道补偿机制，以比基线模型更少的学习参数提供有竞争力甚至更优的性能。此外，LENI 为模型结构引入不对称性，有助于增强表征能力。通过可视化实验，我们证实 LENI 能保留更多信息并学习更多表示。
引用
@article{arxiv.2306.10536,
title = {Learn to Enhance the Negative Information in Convolutional Neural Network},
author = {Zhicheng Cai and Chenglei Peng and Qiu Shen},
journal= {arXiv preprint arXiv:2306.10536},
year = {2023}
}
备注
ICIG 2023