放大正弦单元：一种用于深度神经网络高效恢复非线性振荡的振荡激活函数
机器学习
2023-04-20 v1 神经与进化计算
动力系统
摘要
许多工业和现实问题表现出高度非线性的周期行为，传统方法难以求得其解析或闭式解。此类问题需要功能更强、成本更低的一些前沿计算工具。近来，深度神经网络因处理大数据的能力及学习复杂函数的普适性而获得大量研究关注。本工作中，我们提出一种基于具有响应层结构的深度神经网络的方法，以处理微机电系统中的非线性振荡。我们在所设计的网络中引入了若干振荡与非振荡激活函数，如称为GCU的增长余弦单元、Sine、Mish和Tanh，以对其在高度非线性和振动问题上的性能进行全面分析。将振荡激活函数与深度神经网络结合无疑在预测底层系统周期模式方面表现更优。为支持非线性系统的振荡驱动，我们提出了一种称为放大正弦单元（记作ASU）的新型振荡激活函数，其对于微机电系统等复杂振动系统比GCU更高效。实验结果表明，采用我们所提激活函数ASU设计的网络在应对非线性和振荡带来的挑战时更可靠、更鲁棒。为验证所提方法，我们将网络输出与称为LSODA的Livermore常微分方程求解器的结果进行了比较。此外，文中还给出了所产生误差的图形说明。
引用
@article{arxiv.2304.09759,
title = {Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural Networks to Recover Nonlinear Oscillations Efficiently},
author = {Jamshaid Ul Rahman and Faiza Makhdoom and Dianchen Lu},
journal= {arXiv preprint arXiv:2304.09759},
year = {2023}
}
备注
16 Pages and 16 figures