PEA：利用渐进集成激活免费提升 ReLU 网络性能
计算机视觉与模式识别
2022-07-29 v1 机器学习
摘要
近年来，人们提出了新颖的激活函数以提升神经网络的性能，并且它们展现出优于 ReLU 对应物的性能。然而，在某些环境中，复杂激活的可用性受限，通常仅支持 ReLU。在本文中，我们提出了一些方法，可用于在模型训练期间利用这些高效的新颖激活来提升 ReLU 网络的性能。更具体地，我们提出了由 ReLU 和其中一种新颖激活组成的集成激活。此外，集成的系数既非固定也非学习得到，而是在训练过程中渐进更新，使得训练结束时网络中仅保留 ReLU 激活，其他激活可被移除。这意味着在推理时网络仅包含 ReLU 激活。我们使用多种紧凑网络架构和多种新颖激活函数在 ImageNet 分类任务上进行了广泛评估。结果显示 top-1 准确率提升 0.2-0.8%，证实了所提方法的适用性。此外，我们在语义分割上展示了所提方法，并在 Cityscapes 数据集上将一种紧凑分割网络的性能提升了 0.34% mIOU。
引用
@article{arxiv.2207.14074,
title = {PEA: Improving the Performance of ReLU Networks for Free by Using Progressive Ensemble Activations},
author = {Ákos Utasi},
journal= {arXiv preprint arXiv:2207.14074},
year = {2022}
}
备注
Published in Efficient Deep Learning for Computer Vision (ECV) CVPR Workshop 2022