全连接前馈神经网络权重优化的闭式解
机器学习
2024-06-18 v2 人工智能
摘要
本工作解决了全连接前馈神经网络的权重优化问题。与基于反向传播 (BP) 和链式法则梯度优化（这意味着迭代执行，在某些情况下可能繁重且耗时）的现有方法不同，所提出的方法通过最小二乘 (LS) 方法以闭式形式提供权重优化解。在输入到输出映射为单射的情况下，新方法通过联合优化每层每个神经元的一组权重，在单次迭代中以反向传播方式进行权重优化。在输入到输出映射不是单射的情况下（例如，在分类问题中），所提出的解很容易适应，只需几次迭代即可获得最终解。相对于现有解的一个重要优势是，这些计算（对于一层中的所有神经元）彼此独立；因此，它们可以并行执行，以同时优化给定层中的所有权重。此外，其运行时间是确定性的，即人们可以获得优化所有网络层权重所需的精确计算次数（在非单射映射情况下，为每次迭代）。我们的仿真和实证结果表明，所提出的方案 BPLS 效果良好，在准确性方面与现有方案具有竞争力，但在运行时间方面显著优于它们。总而言之，这种新方法易于实现，具有竞争力，计算效率比现有方法更高，并且非常适合并行实现。
引用
@article{arxiv.2401.06699,
title = {A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks},
author = {Slavisa Tomic and João Pedro Matos-Carvalho and Marko Beko},
journal= {arXiv preprint arXiv:2401.06699},
year = {2024}
}