作为机器学习系统优化器的负反馈系统
机器学习
2024-12-24 v2 人工智能
摘要
具有高前向增益的负反馈系统能够执行反馈路径中线性或非线性函数的逆。负反馈系统的这一特性已广泛用于模拟电子电路中以构造精确的闭环函数。本文描述了负反馈系统的函数求逆过程如何作为机器学习中优化技术的物理类比。我们表明该过程能够学习某些基于梯度下降的方法失效时的不可微函数。我们还表明在平方误差最小化约束下，该优化过程退化为梯度下降。我们从负反馈系统的性质独立地推导出了深度网络的反向传播技术及其他已知优化技术，而不依赖于梯度下降方法。该分析提供了神经网络优化的新颖视角，并可能对开放问题提供新见解。
引用
@article{arxiv.2103.14115,
title = {Negative Feedback System as Optimizer for Machine Learning Systems},
author = {Md Munir Hasan and Jeremy Holleman},
journal= {arXiv preprint arXiv:2103.14115},
year = {2024}
}