LayerAct: 用于CNN鲁棒推理的高级激活机制
机器学习
2025-02-20 v5 计算机视觉与模式识别
神经与进化计算
摘要
本文提出一种用于CNN的新型激活机制LayerAct。该方法受我们的理论与实验分析启发,后者表明层归一化(LN)可缓解现有激活函数在噪声鲁棒性方面的局限。然而,LN在CNN中已知存在弊端,因其易使激活输出趋于同质。所提方法旨在比现有激活函数更鲁棒,通过降低由输入偏移引起的影响上界,同时避免继承LN的局限。我们提供的分析与实验表明,LayerAct函数相比ElementAct函数具有更优的鲁棒性。在三个干净与含噪图像分类基准数据集上的实验结果显示,LayerAct函数在处理噪声数据集时优于其他激活函数,同时在多数情况下于干净数据集上取得更优性能。
引用
@article{arxiv.2306.04940,
title = {LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs},
author = {Kihyuk Yoon and Chiehyeon Lim},
journal= {arXiv preprint arXiv:2306.04940},
year = {2025}
}
备注
7 pages, 5 figures, 4 tables except acknowledge, reference, and appendix. Accepted for the main track of AAAI 25