二次卷积神经网络的最小二乘训练及其在系统理论中的应用
机器学习
2024-11-18 v1
摘要
本文为使用二次激活函数、2-范数损失函数且无正则化项的两层卷积神经网络的训练提供了一种最小二乘公式。利用该方法，我们得到了全局最优权重的解析表达式以及网络的二次输入-输出方程。这些特性使该网络成为系统理论中的可行工具，能够进行进一步分析，例如输出对输入扰动的敏感性，这对于飞机或自动驾驶汽车等安全关键系统至关重要。我们将该最小二乘方法与先前提出的训练二次网络的策略以及通过反向传播训练的ReLU网络进行了比较。所提出的方法被应用于一个系统辨识问题和一个GPS位置估计问题。结果表明，最小二乘网络在显著减少训练时间的同时，对预测精度的妥协极小，并具有解析输入-输出方程的优势。尽管这些结果仅适用于两层网络，但本文激发了在系统理论背景下探索更深层二次网络的研究。
引用
@article{arxiv.2411.08267,
title = {Least Squares Training of Quadratic Convolutional Neural Networks with Applications to System Theory},
author = {Zachary Yetman Van Egmond and Luis Rodrigues},
journal= {arXiv preprint arXiv:2411.08267},
year = {2024}
}