自适应参数化激活：统一和泛化跨任务的激活函数
计算机视觉与模式识别
2025-11-17 v3 机器学习
摘要
激活函数在模型优化中发挥着关键作用，但最佳选择尚不明确。例如，Sigmoid激活在平衡分类任务中为事实上的标准激活，但在不平衡分类中则不合适，因为偏向频繁类别。在本工作中，我们通过对平衡和不平衡网络中的分类和中间层进行全面统计分析，深入探讨了这一现象，并经验性地表明，将激活函数与数据分布一致性提高了在平衡和不平衡任务中的性能。为此，我们提出了自适应参数化激活（Adaptive Parametric Activation，APA）函数，这是一种新型且通用的激活函数，将大多数常见激活函数统一为一个公式。APA可应用于中间层和注意力层，在ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT和LVIS等多个不平衡基准测试上显著优于最新方法。我们还将APA扩展到诸多其他任务，如分类、检测、视觉指令跟随任务、图像生成和下一个文本标记预测基准测试。APA在各种模型架构的多个基准测试中提高了性能。代码已公开于 https://github.com/kostas1515/AGLU。
引用
@article{arxiv.2407.08567,
title = {Adaptive Parametric Activation: Unifying and Generalising Activation Functions Across Tasks},
author = {Konstantinos Panagiotis Alexandridis and Jiankang Deng and Anh Nguyen and Shan Luo},
journal= {arXiv preprint arXiv:2407.08567},
year = {2025}
}
备注
Version 2: 19 pages, 7 figures, 13 Tables. Extension of the ECCV2024 oral paper arXiv:2407.08567v2