硬掺激活函数调整下的模型性能评估
计算机视觉与模式识别
2024-10-10 v1
摘要
在模式识别领域， achieving 高准确率至关重要。训练用于识别不同复杂图像的模型时，微调模型以实现最高可能的准确率至关重要。微调模型的一种策略是改变其激活函数。大多数预训练模型使用 ReLU 作为默认激活函数，但切换为如 Hard-Swish 之类的不同激活函数可能有益。本研究评估了在 diverse 图像数据集上使用 ReLU、Swish 和 Hard-Swish 激活函数的模型性能。我们的结果表明，在 CIFAR-10 数据集上的模型准确率提高了 2.06%，在 ATLAS 数据集上的模型准确率提高了 0.30%。修改预训练模型的激活函数可提高整体准确率。
关键词
引用
@article{arxiv.2410.06879,
title = {Evaluating Model Performance with Hard-Swish Activation Function Adjustments},
author = {Sai Abhinav Pydimarry and Shekhar Madhav Khairnar and Sofia Garces Palacios and Ganesh Sankaranarayanan and Darian Hoagland and Dmitry Nepomnayshy and Huu Phong Nguyen},
journal= {arXiv preprint arXiv:2410.06879},
year = {2024}
}
备注
2 pages