利用连续可微激活函数在量化噪声环境中进行学习
机器学习
2025-02-25 v3
摘要
现实世界的模拟系统固有地受到噪声的影响，这会阻碍各种深度学习模型的收敛和准确性。我们证明了如 GELU 和 SiLU 等可微激活函数能够实现梯度的鲁棒传播，有助于缓解所有模拟系统中普遍存在的模拟量化误差。我们在存在量化噪声的情况下对卷积网络、线性网络和 Transformer 网络进行了分析和训练。在此，我们能够证明连续可微激活函数比传统的整流激活函数具有显著更强的抗噪能力。以 ReLU 为例，其在零点附近的梯度误差比 GELU 高出 100 倍。我们的发现为选择合适的激活函数提供了指导，以便在计算机视觉、信号处理及其他多个机器学习领域实现高性能且可靠的硬件实现。代码地址：\href{https://github.com/Vivswan/GeLUReLUInterpolation}{https://github.com/Vivswan/GeLUReLUInterpolation}。
引用
@article{arxiv.2402.02593,
title = {Leveraging Continuously Differentiable Activation Functions for Learning in Quantized Noisy Environments},
author = {Vivswan Shah and Nathan Youngblood},
journal= {arXiv preprint arXiv:2402.02593},
year = {2025}
}