深度卷积网络中的参数化变分线性单元（PVLU）
计算机视觉与模式识别
2021-12-20 v4 机器学习
摘要
修正线性单元是当前深度卷积神经网络中最先进的激活函数。为应对 ReLU 的神经元死亡问题，我们提出参数化变分线性单元（PVLU），其在 ReLU 上添加带可训练系数的正弦函数。PVLU 在整个实域上引入非线性与非零梯度，并在迁移学习语境下充当微调机制。在一个简单的非迁移顺序 CNN 上，PVLU 替换使 CIFAR-100 上的相对误差分别降低 16.3% 与 11.3%（无数据增强与有数据增强）。PVLU 亦在迁移学习模型上测试。VGG-16 与 VGG-19 模型在 CIFAR-10 上以 PVLU 替换 ReLU 后，相对误差分别降低 9.5% 与 10.7%。当在经高斯滤波的 CIFAR-10 图像上训练时，VGG 模型亦有类似改进。最显著的是，在 CIFAR 数据集上，使用 PVLU 微调使近最先进残差神经网络架构的相对误差降低达或超过 10%。
引用
@article{arxiv.2110.12246,
title = {Parametric Variational Linear Units (PVLUs) in Deep Convolutional Networks},
author = {Aarush Gupta and Shikhar Ahuja},
journal= {arXiv preprint arXiv:2110.12246},
year = {2021}
}
备注
Both authors contributed equally to this research