用于铝电解动力学建模的稀疏深度神经网络
化学物理
2023-01-16 v2 机器学习
摘要
深度神经网络因其在极少专家干预下从数据中拟合任意非线性函数的非凡能力，在复杂非线性过程建模中已变得非常流行。然而，由于其内部复杂性，它们几乎总是过参数化且难以解释。此外，寻找所学模型参数的优化过程可能因陷入局部极小而不稳定。本工作中，我们展示了稀疏正则化技术的价值，可显著降低了模型复杂度。我们针对铝提取过程这一具有许多相互关联子过程的高度非线性系统证明了这一点。我们训练了一个稠密连接的深度神经网络来建模该过程，然后比较了促进稀疏性的l1正则化在泛化性、可解释性和训练稳定性上的效果。我们发现，与相应的稠密神经网络相比，该正则化显著降低了模型复杂度。我们认为这使模型更具可解释性，并表明训练具有不同参数初始化的稀疏神经网络集成通常收敛到具有相似所学输入特征的相似模型结构。此外，实证研究表明，所得稀疏模型比其稠密对应模型能更好地从小训练集泛化。
引用
@article{arxiv.2209.05832,
title = {Sparse deep neural networks for modeling aluminum electrolysis dynamics},
author = {Erlend Torje Berg Lundby and Adil Rasheed and Ivar Johan Halvorsen and Jan Tommy Gravdahl},
journal= {arXiv preprint arXiv:2209.05832},
year = {2023}
}
备注
32 pages, 18 figures