Brownian ReLU(Br-ReLU)：一种用于长短期记忆网络（LSTM）的新型激活函数
机器学习
2026-01-26 v1 计算金融
摘要
深度学习模型在序列数据建模方面表现良好，但ReLU、LeakyReLU和PReLU等常用激活函数在应用于噪声、非平稳的金融时间序列时常出现梯度不稳定问题。本研究引入BrownianReLU——一种由布朗运动引发的随机激活函数，以增强长短期记忆网络（LSTM）中的梯度传递和学习稳定性。通过蒙特卡洛模拟，BrownianReLU为负输入提供平滑、自适应的响应，缓解了死亡ReLU问题。该激活函数在来自Apple、GCB、S&P 500的金融时间序列以及LendingClub贷款数据（分类任务）上进行评估。结果表明，BrownianReLU consistently 降低了均方误差（MSE），提高了R²值，表明其在预测准确性和泛化能力方面具有优势。虽然ROC-AUC指标在分类任务中受限，但激活函数的选择显著影响准确率与灵敏度之间的权衡，Brownian ReLU及所选激活函数均实现了具有实际意义的性能。
引用
@article{arxiv.2601.16446,
title = {Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network},
author = {George Awiakye-Marfo and Elijah Agbosu and Victoria Mawuena Barns and Samuel Asante Gyamerah},
journal= {arXiv preprint arXiv:2601.16446},
year = {2026}
}
备注
13 pages, 7 figures, 6 tables