逼近正交投影单元：基于自然梯度的回归网络训练稳定化方法
机器学习
2024-09-25 v1 人工智能
机器学习
摘要
神经网络（NN）因其特征提取和函数逼近能力而在前沿软传感器模型中得到广泛研究。当前针对网络方法的研究主要聚焦于模型的离线精度。在工业软传感器领域，实际关注的优先级是在线优化的稳定性和可解释性，其次才是精度。这要求对网络的训练过程有更清晰的理解。为弥合这一差距，我们提出了一种新型神经网络，称为逼近正交投影单元（Approximated Orthogonal Projection Unit，AOPU），其具有坚实的数学基础并表现出优异的训练稳定性。AOPU在梯度反向传播时截断双参数，优化可跟踪的参数更新，并增强训练的鲁棒性。我们进一步证明，AOPU在神经网络中实现最小方差估计（MVE），其中被截断的梯度近似于自然梯度（natural gradient）。在两个化学过程数据集上的实验结果清晰表明，AOPU在实现稳定收敛方面优于其他模型，标志着软传感器领域的重大突破。
引用
@article{arxiv.2409.15393,
title = {Approximated Orthogonal Projection Unit: Stabilizing Regression Network Training Using Natural Gradient},
author = {Shaoqi Wang and Chunjie Yang and Siwei Lou},
journal= {arXiv preprint arXiv:2409.15393},
year = {2024}
}