ArcGate：自适应反正切门控激活函数
计算机视觉与模式识别
2026-05-15 v1 机器学习
摘要
激活函数是深度网络的核心，影响着非线性、特征学习、收敛性和鲁棒性。本文提出了自适应反正切门控激活（ArcGate）函数，这是一种灵活的公式，通过三阶段非线性变换生成广泛的激活形状谱。与 ReLU、GELU 或 SiLU 等传统的固定形状激活不同，ArcGate 每层使用七个可学习参数，使神经网络能够根据特征层次和数据分布的具体要求自主优化其非线性。我们在三个广泛使用的遥感基准上使用 ResNet-50 和 Vision Transformer（ViT-B/16）架构评估了 ArcGate：PatternNet、UC Merced Land Use 和 13 波段 EuroSAT MSI 多光谱数据集。实验结果表明，ArcGate 始终优于标准基线，在 PatternNet 上达到了 99.67% 的峰值总体准确率。最值得注意的是，ArcGate 在噪声环境中表现出卓越的结构弹性，在中等高斯噪声（标准差 0.1）下保持了相对于 ReLU 26.65% 的性能领先。对学习参数的分析揭示了依赖于深度的功能演化，其中模型在更深层中增加门控强度以增强信号传播。这些发现表明，ArcGate 是一种用于高分辨率地球观测任务的鲁棒且自适应的通用节点激活函数。
引用
@article{arxiv.2605.14518,
title = {ArcGate: Adaptive Arctangent Gated Activation},
author = {Avik Bhattacharya and Siddhant Dnyanesh Gole and Subhasis Chaudhuri and Alejandro C. Frery and Biplab Banerjee},
journal= {arXiv preprint arXiv:2605.14518},
year = {2026}
}