具有复值权重的神经网络不存在伪局部极小值
机器学习
2024-11-13 v2 机器学习
摘要
我们研究了复值权重对神经网络的优势。我们证明，具有二次激活函数的浅层复神经网络不存在伪局部极小值。相比之下，在相同条件下，具有二次激活函数的浅层实神经网络存在无穷多个伪局部极小值。此外，我们提供了具体示例，表明复值权重将不良的局部极小值转变为鞍点。
引用
@article{arxiv.2103.07287,
title = {Neural Networks with Complex-Valued Weights Have No Spurious Local Minima},
author = {Xingtu Liu},
journal= {arXiv preprint arXiv:2103.07287},
year = {2024}
}