复杂值神经网络综合调查：关于反向传播与激活函数的洞见

人工神经网络（ANNs），特别是采用深度学习模型的网络，在计算机视觉、信号处理和无线通信等领域得到广泛应用，其中复杂数至关重要。尽管当前ANN框架主要采用实数实现，但开发利用复杂数的神经网络的兴趣日益增长。本文综述了近期在复杂值神经网络（CVNNs）方面的最新进展，重点关注其激活函数（AFs）与学习算法。我们深入探讨了将反向传播算法扩展至复杂域的方法，这使得能够训练采用复杂值输入、权重、激活函数及输出的神经网络。本综述考察了三种复杂反向传播算法：复杂导数方法、偏导数方法以及融合Cauchy-Riemann方程的方法。CVNN设计中的重要挑战在于识别合适的非线性复杂值激活函数（CVAFs），由于Liouville定理表明在整个复平面上实现有界性与可微性之间存在冲突。我们审查了旨在实现有界性与可微性的完全复杂激活函数，以及提供实用折中方案的分割激活函数，后者尽管不保守分析性，却具有实际价值。本文提供了对各种CVAFs进行深入分析，以构建有效CVNNs。此外，本综述不仅为CVNNs当前研究状态提供了全面概览，还通过引入新的一组激活函数（完全复杂、分割及复�幅-相位激活函数），为持续的研究与开发做出了贡献。